执行一个600多MB的数据(就一个文件,里面有500万行数据),在hdfs中有5个block,只用了3个mapper,有点不理解。
hive> select count(1) from sogou_ext_20111230;
MapReduce Jobs Launched:
Stage-Stage-1: Map: 3 Reduce: 1 Cumulative CPU: 10.03 sec HDFS Read: 643703440 HDFS Write: 8 SUCCESS
Total MapReduce CPU Time Spent: 10 seconds 30 msec
OK
5000000
Time taken: 25.553 seconds, Fetched: 1 row(s)
HDFS Read: 643703440,即读取的数据大小,里面有500万行数据。
默认的配置:
hive> set mapred.max.split.size;
mapred.max.split.size=256000000
hive> set mapred.min.split.size;
mapred.min.split.size=1
hive> set mapred.min.split.size.per.node;
mapred.min.split.size.per.node=1
hive> set mapred.min.split.size.per.rack;
mapred.min.split.size.per.rack=1
hive> set dfs.block.size;
dfs.block.size=134217728
hive> set hive.input.format;
hive.input.format=org.apache.hadoop.hive.ql.io.CombineHiveInputFormat
去yarn下查看map日志:
第一个map读取的行数:
2021-02-13 14:05:29,641 INFO [main] org.apache.hadoop.hive.ql.exec.MapOperator: RECORDS_IN:2084193
第二个map读取的行数:
2021-02-13 14:05:30,422 INFO [main] org.apache.hadoop.hive.ql.exec.MapOperator: RECORDS_IN:2086071
第三个map读取的行数:
2021-02-13 14:05:31,086 INFO [main] org.apache.hadoop.hive.ql.exec.MapOperator: RECORDS_IN:829736
基本上按照 mapred.max.split.size 这个参数来配置的。
更改mapred.max.split.size=134217728,即block的大小,有5个map,和block的数量一样。
hive> set mapred.max.split.size=134217728;
hive> select count(1) from sogou_ext_20111230;
MapReduce Jobs Launched:
Stage-Stage-1: Map: 5 Reduce: 1 Cumulative CPU: 18.31 sec HDFS Read: 643711922 HDFS Write: 8 SUCCESS
Total MapReduce CPU Time Spent: 18 seconds 310 msec
OK
5000000
Time taken: 38.759 seconds, Fetched: 1 row(s)
暂时确定:使用默认的合并小文件这个参数后,会使用 max.split.size 来进行切割。
源码请参照:
CombineFileInputFormat.java
源码解析:
Hive CombineHiveInputFormat获取切片逻辑[源码]