Hadoop支持LZO压缩配置

支持LZO压缩配置

1. hadoop本身并不支持lzo压缩，故需要使用twitter提供的hadoop-lzo开源组件。hadoop-lzo需依赖hadoop和lzo进行编译，编译步骤如下。

   hadoop-lzo编译（点我打开）

2. 将编译好后的hadoop-lzo-0.4.20.jar 放入hadoop-3.1.3/share/hadoop/common/

3. 同步hadoop-lzo-0.4.20.jar到hadoop103、hadoop104

xsync hadoop-lzo-0.4.20.jar

4. core-site.xml增加配置支持LZO压缩

	<property>
		<name>io.compression.codecs</name>
		<value>
			org.apache.hadoop.io.compress.GzipCodec,
			org.apache.hadoop.io.compress.DefaultCodec,
			org.apache.hadoop.io.compress.BZip2Codec,
			org.apache.hadoop.io.compress.SnappyCodec,
			com.hadoop.compression.lzo.LzoCodec,
			com.hadoop.compression.lzo.LzopCodec
		</value>
	</property>
	<property>
		<name>io.compression.codec.lzo.class</name>
		<value>com.hadoop.compression.lzo.LzoCodec</value>
	</property>

5. 同步core-site.xml到hadoop103、hadoop104

xsync core-site.xml

6. 启动及查看集群（启动之前先停止原先的集群）

start-dfs.sh
start-yarn.sh

版权声明：
作者：十下
链接：http://blog.edkso.cn/?p=475
来源：十下博客
文章版权归作者所有，未经允许请勿转载。