LZO压缩配置及注意事项

最新推荐文章于 2021-04-28 17:09:49 发布

天涯问路

最新推荐文章于 2021-04-28 17:09:49 发布

阅读量931

点赞数 1

分类专栏：项目经验文章标签： hadoop LZO

本文链接：https://blog.csdn.net/S_Alics/article/details/108513063

版权

本文介绍了在Hadoop中配置LZO压缩的详细步骤，包括hadoop-lzo的编译、jar包部署、core-site.xml的配置以及LZO压缩文件索引的创建，确保LZO在Hadoop上的正确运行。

摘要由CSDN通过智能技术生成

一、由于 Hadoop 本身并不支持 LZO 压缩，所以需要使用 twitter 的 hadoop-lzo 开源组件。

1.hadoop-lzo 需要依赖 hadoop 和 lzo 进行编译，编译步骤请参考：

https://blog.csdn.net/S_Alics/article/details/108513408

2.将编译好的 hadoop-lzo 的 jar 包放入 hadoop/share/hadoop/common（放在自己真实的路径的common文件夹下）

3.配置 core-site.xml

<configuration>
    <property>
        <name>io.compression.codecs</name>
        <value>
            org.apache.hadoop.io.compress.GzipCodec,
            org.apache.hadoop.io.compress.DefaultCodec,
            org.apache.hadoop.io.compress.BZip2Codec,
            org.apache.hadoop.io.compress.SnappyCodec,
            com.hadoop.compression.lzo.LzoCodec,
            com.hadoop.compression.lzo.LzopCodec
        </value>
    </property>

    <property>
        <name>io.compres

最低0.47元/天解锁文章

天涯问路

关注

1
点赞
踩
2

收藏

觉得还不错? 一键收藏
0
评论
LZO压缩配置及注意事项

一、由于 Hadoop 本身并不支持 LZO 压缩，所以需要使用 twitter 的 hadoop-lzo 开源组件。1.hadoop-lzo 需要依赖 hadoop 和 lzo 进行编译，编译步骤请参考： https://blog.csdn.net/S_Alics/article/details/1085134082.将编译好的 hadoop-lzo 的 jar 包放入 hadoop/share/hadoop/common（放在自己真实的路径的common文件夹下）3.配置 ...
复制链接

扫一扫

专栏目录