小文件存储方案

小文件存储方案

小文件存储方案

方式：1)基于HDFS存储方案
2)基于HBase存储方案
3)基于打包构建索引方案
4)其他方案
注意：建议在上层作一个逻辑处理层，在存储时先判断是大文件还是小文件，再决定是否用打包压缩还是直接上传至HDFS，可借鉴TFS方案

基于HDFS存储方案

分类：1)HAR
2)SequenceFile
3)CombinedFile

基于HBase存储方案

原理：1)从2.0版本开始，HBase多了一个MOB的结构
2)MOB是由StoreFile和MOB File共同组成
3)对于MOB的表，可以手动触发压缩，有compact_mob和major_compact_mob两种方式
方式：create ‘t1’, {NAME => ‘f1’, IS_MOB => true, MOB_THRESHOLD => 102400}

基于打包构建索引方案

原理：1)一个小图片存储方案，也是基于HDFS存储实际图片，基于HBase存储元数据信息
2)将多个小图上片压缩成一个tar文件存放至HDFS上，通过HBase记录文件名和HDFS文件的位置映射关系
思路：1)业务部门将图片上传至一个中转机，图片按日期目录存储，不同日期上传的图片放到相应日期目录
2)定期用脚本去将日期目录打包成tar，一天的图片打包成一个以日期命名的tar，tar文件解压后是直接图片文件，即