杉岩：破解海量小文件存储的大难题

导语：海量小文件的元数据管理、存储性能以及访问效率等问题是目前学术界和工业界公认的难题。杉岩海量对象存储MOS利用包括小文件聚合功能在内的独特技术，帮助用户应对存储资源浪费、效率低下等诸多挑战，成就大数据与人工智能时代的企业核心竞争力。

海量小文件存储访问带来公认难题

当今世界，互联网、大数据应用迅猛发展，物联网、人工智能、云计算 技术日新月异，随之而来的是各种企业和个人应用持续不断地产生亿级甚至是百亿级的海量小文件。这些小文件的元数据管理、存储性能以及访问效率等问题因而成为学术界和工业界公认的难题。

例如，国内目前最大的电商网站淘宝存储的商品图片超过 200 亿张，这些文件的平均大小仅为 15KB 左右，国外著名的社交网站Facebook 存储的图片总量更是超过了600亿张；在线视频播放服务中，每个视频会被切片服务器分割成 1MB 左右的分片文件，一部动画电影所包含的图片文件可能会超过 500 万张，平均大小为15KB；一些在线阅读图书每页内容均会被扫描成大约几十KB的图片文件……

因此，在购物网站、广电、网络视频等场景下的应用，存储系统中小文件数量众多，其空间占用一般在1M以下，操作特征为一次写入，多次读取。由于每个小文件存储都会执行一次全写流程，操作频繁，使得分布式文件系统的磁盘压力剧增并导致以下两方面的问题：

资源浪费：海量小文件的数据读取时，往往每个小文件的大小都小于一次数据传输的最小块大小。也就是无论真正有用的数据量多大，都会获取固定大小的数据，这使得有用数据占获取数据量比例过低，从而导致内存、带宽的浪费。

高访问延迟：当用户读取大量小文件时，首先选择与元数据服务器交互，当访问过于集中、信息交互过于频繁时，所产生的延迟显而易见。