hive执行任务的map个数

执行一个600多MB的数据（就一个文件，里面有500万行数据），在hdfs中有5个block，只用了3个mapper，有点不理解。

hive> select count(1) from sogou_ext_20111230;
MapReduce Jobs Launched: 
Stage-Stage-1: Map: 3  Reduce: 1   Cumulative CPU: 10.03 sec   HDFS Read: 643703440 HDFS Write: 8 SUCCESS
Total MapReduce CPU Time Spent: 10 seconds 30 msec
OK
5000000
Time taken: 25.553 seconds, Fetched: 1 row(s)

HDFS Read: 643703440，即读取的数据大小，里面有500万行数据。

默认的配置：

hive> set mapred.max.split.size;
mapred.max.split.size=256000000
hive> set mapred.min.split.size;
mapred.min.split.size=1
hive> set mapred.min.split.size.per.node;
mapred.min.split.size.per.node=1
hive> set mapred.min.split.size.per.rack;
mapred.min.split.size.per.rack=1
hive> set dfs.block.size;
dfs.block.size=134217728
hive> set hive.input.format;
hive.input.format=org.apache.hadoop.hive.ql.io.CombineHiveInputFormat

去yarn下查看map日志：

第一个map读取的行数：
2021-02-13 14:05:29,641 INFO [main] org.apache.hadoop.hive.ql.exec.MapOperator: RECORDS_IN:2084193
第二个map读取的行数：
2021-02-13 14:05:30,422 INFO [main] org.apache.hadoop.hive.ql.exec.MapOperator: RECORDS_IN:2086071
第三个map读取的行数：
2021-02-13 14:05:31,086 INFO [main] org.apache.hadoop.hive.ql.exec.MapOperator: RECORDS_IN:829736

基本上按照 mapred.max.split.size 这个参数来配置的。

更改mapred.max.split.size=134217728，即block的大小，有5个map，和block的数量一样。

hive> set mapred.max.split.size=134217728;
hive> select count(1) from sogou_ext_20111230;
MapReduce Jobs Launched: 
Stage-Stage-1: Map: 5  Reduce: 1   Cumulative CPU: 18.31 sec   HDFS Read: 643711922 HDFS Write: 8 SUCCESS
Total MapReduce CPU Time Spent: 18 seconds 310 msec
OK
5000000
Time taken: 38.759 seconds, Fetched: 1 row(s)

暂时确定：使用默认的合并小文件这个参数后，会使用 max.split.size 来进行切割。

源码请参照：
CombineFileInputFormat.java
源码解析：
Hive CombineHiveInputFormat获取切片逻辑[源码]