pig数据导入性能优化（map端）

导言：众所周知，MapReduce的数据输入是以HDFS的数据块大小为基本单位的，加入某集群HDFS的block的大小为128MB。那么，当我们要处理的数据大小是在120MB左右，map端就不会出现由于数据分布不均匀而导致的数据倾斜。

下面介绍怎么控制map端的输出在120MB左右的方法，该方法对于日志的导入有很大的帮助，可以让map的输出均匀的输出。

本人所处理的原始数据是大量的日志，种类繁多，而且各种日志的生成速度也不差别很大，所以这些现实问题导致每天，每小时的数据量很不均匀。所以，需要通过map处理将数据均匀处理，并且使其具由比较好的schema。

HDFS中的日志有两种压缩格式，包括lzo以及gz格式。

• lzo格式日志处理
  lzo格式的日志大于128MB时，pig脚本通过设置参数，可以将大文件split成128MB的文件；小于128MB并且多个数据块的和小于等于128MB的数据块可以通过combine参数将其合并。

• gz格式日志处理
  gz格式的数据有一个问题，就是大于128MB的文件无法split，当然，小于128MB的，并且可以combine为128MB的数据块是可以被合并的，gz数据块处理的问题重心就落在了怎么切割大于128MB的数据块的问题上了，针对这个问题，我们可以使用如下方式对其先建索引（索引就是通过hadoop-lzo.jar包，将HDFS上的文件切割成hadoop方式配置参数中默认的文件块大小所加的位置标记），然后将其切割。

hadoop jar /opt/cloudera/parcels/GPLEXTRAS/lib/hadoop-0.20-mapreduce/lib/hadoop-lzo.jar com.hadoop.compression.lzo.DistributedLzoIndexer

当然，也可以将原始日志压缩为非gz格式的。

对于lzo和gz（建过索引的数据）格式的数据，可以通过设置如下参数将其比较均匀的分割。

SET pig.splitCombination true;  --开启数据块的combine
SET pig.maxCombinedSplitSize 130000000; --可以合成的大文件最大大小，这是将小文件合并的参数，参数可以自己根据实际情况设置
SET mapred.max.split.size 120000000;    --可以切割的文件，当它超过这个值是就将其切割了，参数可以自己根据实际情况设置