2022-08-13 LZO使用方法

准备资源：hadoop-lzo-0.4.20.jar

一、压缩

1. 将hadoop-lzo-0.4.20.jar上传至$HADOOP_HOME/share/hadoop/common目录中

2. 向core-site.xml中添加配置项

	<property>
		<name>io.compression.codecs</name>
		<value>
			org.apache.hadoop.io.compress.GzipCodec,
			org.apache.hadoop.io.compress.DefaultCodec,
			org.apache.hadoop.io.compress.BZip2Codec,
			org.apache.hadoop.io.compress.SnappyCodec,
			com.hadoop.compression.lzo.LzoCodec,
			com.hadoop.compression.lzo.LzopCodec
		</value>
	</property>
	<property>
		<name>io.compression.codec.lzo.class</name>
		<value>com.hadoop.compression.lzo.LzoCodec</value>
	</property>

3. 压缩

# -D可以用来临时置顶配置项
# 实际上lzo并不能切片，真正能切片的是plzo
# 最后会在/output目录下生成.lzo压缩文件

hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount -Dmapreduce.output.fileoutputformat.compress=true -Dmapreduce.output.fileoutputformat.compress.codec=com.hadoop.compression.lzo.LzopCodec /input /output

二、解压缩切片读取(前提已经执行了一中的1,2两步)

1. 生成index文件

# 语法格式为：hadoop jar lzo.jar包 固定的类 存储的.lzo文件(可以是一个目录，代表目录下的文件都是.lzo格式，都需要创建index)
# 会在.lzo的同一级目录下生成index文件
hadoop jar /path/to/your/hadoop-lzo.jar com.hadoop.compression.lzo.DistributedLzoIndexer big_file.lzo

2. 解压缩切片读取

# 可切片式的解压缩
# 必须指定InputFromat的具体类为：com.hadoop.mapreduce.LzoTextInputFormat
hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount -Dmapreduce.job.inputformat.class=com.hadoop.mapreduce.LzoTextInputFormat /input /output