LZO创建索引

LZO创建索引

创建LZO文件的索引，LZO压缩文件的可切片特性依赖于其索引，故我们需要手动为LZO压缩文件创建索引。若无索引，则LZO文件的切片只有一个。

hadoop jar /path/to/your/hadoop-lzo.jar com.hadoop.compression.lzo.DistributedLzoIndexer big_file.lzo
（hadoop jar hadoop-lzo-0.4.20.jar文件目录 com.hadoop.compression.lzo.DistributedLzoIndexer hdfs的lzo文件目录）

例如：

hadoop jar /opt/module/hadoop-3.1.3/share/hadoop/common/hadoop-lzo-0.4.20.jar  com.hadoop.compression.lzo.DistributedLzoIndexer /input/bigtable.lzo

版权声明：
作者：十下
链接：http://blog.edkso.cn/?p=480
来源：十下博客
文章版权归作者所有，未经允许请勿转载。