mapreduce
leys123
这个作者很懒,什么都没留下…
展开
-
搞清楚LzoCodec和LzopCodec
使用LZO过程会发现它有两种压缩编码可以使用,即LzoCodec和LzopCodec,下面说说它们区别: LzoCodec比LzopCodec更快, LzopCodec为了兼容LZOP程序添加了如 bytes signature, header等信息如果使用 LzoCodec作为Reduce输出,则输出文件扩展名为".lzo_deflate",它无法被lzop读取;如果使用Lzop转载 2016-07-21 14:36:07 · 1310 阅读 · 0 评论 -
hadoop lzo的使用方法
前面的文章介绍了hadoop lzo的安装和配置,本文接着介绍lzo压缩在hadoop应用程序中的使用方法,包括在mapreduce程序,streaming程序和hive中的使用。 1 给lzo文件建立索引 lzo文件需要建立索引才能支持分块(split)。 如果没有索引,lzo文件也是可以处理的,mapreduce会根据后缀名“.lzo”来对lzo文件解压,并且inputfor转载 2016-07-21 14:39:33 · 1916 阅读 · 0 评论