Hive实战系列调优之小文件优化

小文件来源有哪些？

常见的小文件来源于有：数据源本事就包含大量的小文件；动态分区插入的数据；reduce个数越多产生的小文件就越多。

大量小文件会有哪些影响？

小文件会开很多map,一个map开一个JVM去执行，所以这些任务的初始化，启动，执行会浪费大量的资源，严重影响性能。

在Hdfs中，每个小文件对象约占150byte,如果小文件多会占用大量内存。

如何解决？

少用动态分区，使用时记得按distribute by分区；减少reduce的数量；从数据源头解决；

案例1：按天将原始数据层进行动态分区。

set hive.exec.dynamic.partition=true;
set hive.exec.dynamic.partition.mode=nonstrict;
set hive.vectorized.execution.enabled=true;

insert overwrite table dwd_level_info partition(dt)
select 
mid_id,	
area_code,	
vc,
game_name,	
get_json_object(event_json,'$.group'),
get_json_object(event_json,'$.action'),
get_json_object(event_json,'$.gameKind'),
get_json_object(event_json,'$.level'),
get_json_object(event_json,'$.maxLevel'),
get_json_object(event_json,'$.state'),
ts,
dt	
from dwd_events_log 
where 
dt>='2021-06-01' and dt<='2021-06-30' 
and game_name='iOS_BricksGame'  
and event_name='stage'
distribute by dt;

案例2：已经存在的小文件之表重建

重建表，建表时减少reduce的数量;通过参数调节，设置map/reduce的数量;

--设置map输入合并小文件的相关参数：
set hive.input.format=org.apache.hadoop.hive.ql.io.CombineHiveInputFormat; 
--每个Map最大输入大小(这个值决定了合并后文件的数量)  
set mapred.max.split.size=256000000; 
 --一个节点上split的至少的大小(这个值决定了多个DataNode上的文件是否需要合并)
set mapred.min.split.size.per.node=100000000;
--交换机下
set mapred.min.split.size.per.rack=100000000; 
  --设置map端输出进行合并，默认为true
set hive.merge.mapfiles = true;
--设置reduce端输出进行合并，默认为false
set hive.merge.mapredfiles = true; 
 --设置合并文件的大小
set hive.merge.size.per.task = 25610001000; 
--当输出文件的平均大小小于该值时，启动一个独立的MapReduce任务进行文件merge
set hive.merge.smallfiles.avgsize=16000000; 

案例3：已经存在的小文件之小文件归档

如图每天收集生成大量小文件

 归档命令

[wxq@hadoop101 ~]$ hadoop archive
archive <-archiveName <NAME>.har> <-p <parent path>> [-r <replication factor>] <src>* <dest>

-- 执行命令式相当于跑了一个MR
hadoop archive  -archiveName output.har -p /origin_data/games/log/topic_app_start/2021-10-20 /origin_data/games/log/topic_app_start/2021-10-20/output
-- MR部分信息
2021-10-26 16:12:47,599 INFO impl.YarnClientImpl: Submitted application application_1635212862469_0001
2021-10-26 16:12:47,842 INFO mapreduce.Job: The url to track the job: http://hadoop103:8088/proxy/application_1635212862469_0001/
2021-10-26 16:12:47,844 INFO mapreduce.Job: Running job: job_1635212862469_0001
2021-10-26 16:13:03,358 INFO mapreduce.Job: Job job_1635212862469_0001 running in uber mode : false
2021-10-26 16:13:03,359 INFO mapreduce.Job:  map 0% reduce 0%
2021-10-26 16:13:25,781 INFO mapreduce.Job:  map 100% reduce 0%
2021-10-26 16:13:38,140 INFO mapreduce.Job:  map 100% reduce 100%
2021-10-26 16:13:39,192 INFO mapreduce.Job: Job job_1635212862469_0001 completed successfully
2021-10-26 16:13:39,329 INFO mapreduce.Job: Counters: 53

 归档后数据：几百个文件归档到一个大文件。

总结：HDFS不太适合存储小文件！
①源头上解决，在上传大量小文件时！ 将大量小文件打包为一个文件！
②如果小文件已经上传到了HDFS，可以使用HDFS提供的归档工具Har类似tar工具！