HDFS小文件会有什么影响?
(1)存储层面:
1个文件块,占用namenode多大内存150字节
1亿个小文件150字节
1个文件块 * 150字节
128G能存储多少文件块? 128 * 10241024*1024byte/150字节 = 9亿文件块
- 浪费磁盘空间,以前明明一个block可以存储128M数据的,现在却只存了1M,造成了极大的浪费,小文件多了造成的浪费就更大了。
- 另外HDFS的元数据管理会因为小文件过多从而造成维护成本升高,namenode节点负载过重,对集群的管理和扩展造成了制约
(2)计算层面:
每个小文件都会起到一个MapTask,占用了大量计算资源
2)怎么解决
(1)采用har归档方式,将小文件归档
(2)采用CombineTextInputFormat
(3)有小文件场景开启JVM重用;如果没有小文件,不要开启JVM重用,因为会一直占用使用到的task卡槽,直到任务完成才释放。
JVM重用可以使得JVM实例在同一个job中重新使用N次,N的值可以在Hadoop的mapred-site.xml文件中进行配置。通常在10-20之间
<property>
<name>mapreduce.job.jvm.numtasks</name>
<value>10</value>
<description>How many tasks to run per jvm,if set to -1 ,there is no limit</description>
</property>