大数据杂谈 - TextFile&ORC Block Split

本篇目的：对比TextFile 与ORC 格式在不同引擎下Block是否可切分

TextFile
普通行式存储表，没有花里胡哨东西，压缩算法一般搭配LZO

一般LZO压缩后的文件无法拆分，需建立索引，拆分block,提高并行度

索引建立方式：

hadoop jar $HADOOP_LZO com.hadoop.compression.lzo.DistributedLzoIndexer hdfs_lzo_path
建完索引后，LZO文件就可拆分，MR读取LZO数据时，在Map端会按索引对LZO文件进行分拆,具体测试如下：

######################## 原始组 ###############################

对照组 -A 原始表：gdm.gdm_m14_glb_wireless_online_log

文件格式：TextFile

压缩算法：LZO

测试分区：2020-06-16

测试数据大小：6.1G

索引：无

测试SQL: select count(1) as nums from tmp.gdm_m14_glb_wireless_online_log_test where dt = ‘2020-06-16’

执行MR Map数：mappers: 8; number of reducers: 1 1min

增加参数：set mapred.max.split.size=16777216;

测试SQL: select count(1) as nums from gdm.gdm_m14_glb_wireless_online_log_test where dt = ‘2020-06-16’

执行MR Map数：mappers: 8; number of reducers: 1 1min

Spark引擎，增加参数：set spark.sql.files.maxPartitionBytes=16777216;

测试SQL: select count(1) as nums from gdm.gdm_m14_glb_wireless_online_log_test where dt = ‘2020-06-16’

执行Stage task数：0/8 (8 running)

######################## 测试组 ###############################

测试表：tmp.gdm_m14_glb_wireless_online_log_test

测试分区：2020-06-16

测试数据大小：6.1G

测试LZO文件数量：8个

测试LZO Index数量：8个，即对每个.LZO文件建立索引

测试SQL: select count(1) as nums from tmp.gdm_m14_glb_wireless_online_log_test where dt = ‘2020-06-16’

执行MR Map数：number of mappers: 54; number of reducers: 1

增加参数：set mapred.max.split.size=16777216;

测试SQL: select count(1) as nums from tmp.gdm_m14_glb_wireless_online_log_test where dt = ‘2020-06-16’

执行MR Map数：mappers: 8; number of reducers: 1 1min

Spark引擎，增加参数：set spark.sql.files.maxPartitionBytes=16777216;

测试SQL: select count(1) as nums from tmp.gdm_m14_glb_wireless_online_log_test where dt = ‘2020-06-16’

执行Stage task数：0/8 (8 running)

结论：
1. TEXTFile文件采用LZO算法压缩后，block本身并不具备切分能力。在MR中，Map数量取决于LZO文件数量

2. 如果对LZO文件建立索引，索引会将LZO文件进行拆分，增加Map数，提升MR性能

3. 通过改变Map端Block最大切分策略或Spark-Sql读取文件时打包到单个分区中的最大字节数，并不能影响LZO对Block的切分，即LZO只受索引影响

PS: 索引文件会告诉LzoTextInputFormat的getSplits函数如何将LZO文件拆分为可以并行解压缩和处理的拆分
LZO如何建议索引，及后续Block依据索引拆分数据得详细看源码，暂时没找到相关资料

ORCFile

ORC篇

对比ORC+Snappy 和TextFile + LZO 在MR下Map端数的变化（即Block块的拆分）

测试表-B：dev.gdm_m14_glb_wireless_online_log_test

文件格式：ORC

测试SQL: select count(1) as nums from dev.gdm_m14_glb_wireless_online_log_test where dt = ‘2020-06-16’

执行MR Map数：mappers: 33; number of reducers: 1 1min

增加参数：set mapred.max.split.size=16777216;

执行MR Map数：mappers: 295; number of reducers: 1 1min

Spark引擎，增加参数：set spark.sql.files.maxPartitionBytes=16777216;

测试SQL: select count(1) as nums from B：dev.gdm_m14_glb_wireless_online_log_test where dt = ‘2020-06-16’

执行Stage task数：74/301

结论：

1. ORC格式，Map Block 可拆分，可通过 mapred.max.split.size 改变Map数，变相提升MR并行度

2. ORC格式 可以通过改变Spark-Sql读取文件时打包到单个分区中的最大字节数,，以此增加当前Stage Task的并行度，提高Spark任务性能（即，改变 spark.sql.files.maxPartitionBytes ）