HDFS天生就是为存储大文件而生的,一个块的元数据大小大概在150字节左右,存储一个小文件就要占用150字节的内存,如果存储大量的小文件
很快就将内存耗尽,而整个集群存储的数据量很小,失去了HDFS的意义。
可以将数据合并上传,或者将文件append形式追加在HDFS文件末尾。
HDFS天生就是为存储大文件而生的,一个块的元数据大小大概在150字节左右,存储一个小文件就要占用150字节的内存,如果存储大量的小文件
很快就将内存耗尽,而整个集群存储的数据量很小,失去了HDFS的意义。
可以将数据合并上传,或者将文件append形式追加在HDFS文件末尾。