使用LZO过程会发现它有两种压缩编码可以使用,即LzoCodec和LzopCodec,它们的区别:
1.LzoCodec比LzopCodec更快, LzopCodec为了兼容LZOP程序添加了如bytes signature, header等信息
2.如果使用 LzoCodec作为Reduce输出,则输出文件扩展名为".lzo_deflate",它无法被lzop读取;
如果使用LzopCodec作为Reduce输出,则扩展名为".lzo",它可以被lzop读取
3.生成lzo index job的DistributedLzoIndexer无法为由LzoCodec压缩得到的".lzo_deflate"扩展名的文件创建index
4.".lzo_deflate"文件无法作为MapReduce输入,".lzo"文件则可以。
5.综上所述得出最佳实践:map输出的中间数据使用LzoCodec,reduce输出使用 LzopCodec
两个类并不属于同一个包:
org.apache.hadoop.io.compress.LzoCodec
com.hadoop.compression.lzo.LzopCodec
mapreduce中使用压缩
对最终生成的结果(即reduce输出)进行压缩
设置mapred.output.compress属性为true
设置mapred.output.compression.codec为相应的压缩类的名称
对map生成的结果(即map输出)进行压缩
设置mapred.compress.map.output属性为true
设置mapred.map.output.compression.codec为相应的压缩类的名称
参考:http://heipark.iteye.com/blog/1579494
1.LzoCodec比LzopCodec更快, LzopCodec为了兼容LZOP程序添加了如bytes signature, header等信息
2.如果使用 LzoCodec作为Reduce输出,则输出文件扩展名为".lzo_deflate",它无法被lzop读取;
如果使用LzopCodec作为Reduce输出,则扩展名为".lzo",它可以被lzop读取
3.生成lzo index job的DistributedLzoIndexer无法为由LzoCodec压缩得到的".lzo_deflate"扩展名的文件创建index
4.".lzo_deflate"文件无法作为MapReduce输入,".lzo"文件则可以。
5.综上所述得出最佳实践:map输出的中间数据使用LzoCodec,reduce输出使用 LzopCodec
两个类并不属于同一个包:
org.apache.hadoop.io.compress.LzoCodec
com.hadoop.compression.lzo.LzopCodec
mapreduce中使用压缩
对最终生成的结果(即reduce输出)进行压缩
设置mapred.output.compress属性为true
设置mapred.output.compression.codec为相应的压缩类的名称
对map生成的结果(即map输出)进行压缩
设置mapred.compress.map.output属性为true
设置mapred.map.output.compression.codec为相应的压缩类的名称
参考:http://heipark.iteye.com/blog/1579494