一、小文件场景和挑战
1.1 小文件的场景
当今各行各业每天都有海量的数据产生。据IDC预测达到2025年,全球将总共产生175ZB文件。接下去5年时间内产生的数据量将会比过去几十年人类产生数据量总和还多。
这些数据中大部分都将是非结构化数据,其中图片这种偏小的文件有很大一部分。海量小文件是存储界的难题,通常小文件是指大小在1MB以下的文件,百万以上我们称为海量。
典型的海量小文件应用场景有:
1) 人工智能;
2) 档案影像、金融影像;
3) 医疗影像;
4) 互联网UGC图片以及短视频等;
5) 影视渲染制作;
1.2 小文件的存储和管理挑战
由于传统的存储系统设计和开发都面向了相对偏大的文件存储优化,而当前信息化发展趋势来看却不断产生海量的小文件特征的数据,而小文件就给存储系统带来了海量的元数据信息、复杂的目录结构、频繁的大目录中进行文件检索操作、小文件存储之间迁移复制等诸多的现象和需求。
上述的种种现象和需求都会在传统存储系统上爆发出严重的问题,主要是:
u 管理难:海量小文件的存储需要制定比大文件更加性能优化存储方式;