pom文件hadoop版本_Hadoop如何使用lzo压缩完整篇

1.为啥使用了lzo仍然不能分片

在hdfs.xml中，有这样的配置

        dfs.blocksize
        134217728
 

这个配置设置了块大小为128M，在mapreduce的过程中，inputformat执行完毕之后，默认就会根据该配置，对文件进行切块(split)，进而根据块的数量来决定map task的数量。

除了textFile之外，压缩格式中的lzo，bz2也可以进行文件的切块操作。

但是从一般情况，lzo本身是无法进行切块的——如果直接将大于128M的data.lzo文件作为map的输入时，默认blocksize为128M的情况下，number of splits的值仍然为1，即data.lzo仍然被当为一块直接输入map task。

所以为了实现lzo的切块，需要为lzo的压缩文件生成一个索引文件data.lzo.index。

2.如何生成lzo文件

lzop -v data，就会生成data.lzo文件

3.给data.lzo配置索引文件

需要准备hadoop-lzo-0.4.21-SNAPSHOT.jar，如果没有的话就需要编译生成一下。

3.1 安装编译所需文件

yum -y install lzo-devel zlib-devel gcc autoconf automake libtool

3.2 下载，解压

wget https://github.com/twitter/hadoop-lzo/archive/master.zip

3.3 修改pom.xml，将其中的hadoop.current.version改为自己的hadoop版本

3.4 编译

在hadoop-lzo-master/下执行mvn clean package -Dmaven.test.skip=true进行编译，编译好的jar包在hadoop-lzo-master/target/

3.5 修改hadoop的配置文件

core-site.xml

io.compression.codecsorg.apache.hadoop.io.compress.GzipCodec,
               org.apache.hadoop.io.compress.DefaultCodec,
               org.apache.hadoop.io.compress.BZip2Codec,
               org.apache.hadoop.io.compress.SnappyCodec,
               com.hadoop.compression.lzo.LzoCodec,
               com.hadoop.compression.lzo.LzopCodec

io.compression.codec.lzo.classcom.hadoop.compression.lzo.LzoCodec

mapred-site.xml

mapreduce.map.output.compresstrue

mapreduce.map.output.compress.codeccom.hadoop.compression.lzo.LzoCodec

3.6 重启hadoop集群，将data.lzo丢到hdfs里。

3.7 创建index文件

# 使用mapreduce创建索引
hadoop jar /home/hadoop/hadoop-lzo-0.4.21-SNAPSHOT.jar com.hadoop.compression.lzo.DistributedLzoIndexer /input/data.lzo

# 使用本地程序创建索引
hadoop jar /home/hadoop/hadoop-lzo-0.4.21-SNAPSHOT.jar com.hadoop.compression.lzo.LzoIndexer /input/data.lzo

3.8 执行自己的mapreduce程序的时候，输入路径为/input而非/input/data.lzo，这样就能实现lzo的分片操作了。

---

最新文章回顾:

高级班学员又一个总结

36岁做管理如何转型大数据

2019国庆-线下项目第16期圆满结束

刚出炉 | 深圳第1-5家大数据面试题

刚出炉 | 深圳第6-10家大数据面试题

如何避免生产Spark Shuffle的某场景

解决生产CDH Spark2的No such file or directory错误

生产上Spark对MySQL加载并发提高的两种代码(彩蛋)

生产大数据集群资源监控--指标获取(含code)

生产大数据集群资源监控--HDFS指标获取(含code)

人人都应该会的-生产Spark2.4.0如何Debug源代码

单击[阅读原文]，查看高级班课表