小文件处理

最新推荐文章于 2024-07-19 10:49:07 发布

易生所爱

最新推荐文章于 2024-07-19 10:49:07 发布

阅读量389

点赞数

分类专栏：面试文章标签：大数据 hadoop hive

本文链接：https://blog.csdn.net/yds599089646/article/details/114113430

版权

面试专栏收录该内容

2 篇文章 0 订阅

订阅专栏

HDFS小文件处理

1）会有什么影响
	（1）1个文件块，占用namenode多大内存150字节
1亿个小文件*150字节 
1 个文件块 * 150字节
128G能存储多少文件块？   128 * 1024*1024*1024byte/150字节 = 9亿文件块
2）怎么解决
（1）采用har归档方式，将小文件归档
（2）采用CombineTextInputFormat（切片机制 设置setMaxInputSplitSize 用于小文件过多的场景，它可以将多个小文件从逻辑上规划到一个切片中，这样，多个小文件就可以交给一个 MapTask 处理。）
（3）有小文件场景开启JVM重用；如果没有小文件，不要开启JVM重用，因为会一直占用使用到的task卡槽，直到任务完成才释放。
JVM重用可以使得JVM实例在同一个job中重新使用N次，N的值可以在Hadoop的mapred-site.xml文件中进行配置。通常在10-20之间
<property>
    <name>mapreduce.job.jvm.numtasks</name>
    <value>10</value>
    <description>How many tasks to run per jvm,if set to -1 ,there is  no limit</description>
</property>

Hive小文件处理

1）小文件如何产生的？
（1）动态分区插入数据，产生大量的小文件，从而导致map数量剧增；
（2）reduce数量越多，小文件也越多（reduce的个数和输出文件是对应的）；
（3）数据源本身就包含大量的小文件。
2）小文件解决方案
（1）在Map执行前合并小文件，减少Map数：CombineHiveInputFormat具有对小文件进行合并的功能（系统默认的格式 set hive.input.format=org.apache.hadoop.hive.ql.io.CombineHiveInputFormat;）。HiveInputFormat没有对小文件合并功能。
（2）merge
// 输出合并小文件
SET hive.merge.mapfiles = true; -- 默认true，在map-only任务结束时合并小文件
SET hive.merge.mapredfiles = true; -- 默认false，在map-reduce任务结束时合并小文件
SET hive.merge.size.per.task = 268435456; -- 默认256M
SET hive.merge.smallfiles.avgsize = 16777216; -- 当输出文件的平均大小小于16m该值时，启动一个独立的map-reduce任务进行文件merge
（3）开启JVM重用
set mapreduce.job.jvm.numtasks=10