Cloudera Spark2配置支持LZO压缩格式查询

最新推荐文章于 2022-02-11 10:33:26 发布

杨鑫newlfe

最新推荐文章于 2022-02-11 10:33:26 发布

阅读量824

点赞数

分类专栏：大数据挖掘与大数据应用案例文章标签： Spark2 LZO压缩查询

本文链接：https://blog.csdn.net/u012965373/article/details/87001531

版权

大数据挖掘与大数据应用案例专栏收录该内容

536 篇文章 1680 订阅 ¥9.90 ¥99.00

订阅专栏

本文介绍了如何在Cloudera Spark2中配置支持LZO压缩格式的查询。通过添加特定的配置参数，并在重启Spark2服务后，设置即可生效。

摘要由CSDN通过智能技术生成

1.添加配置参数位置：

当前参数（配置后生效）为（根据各自的安装依赖包的目录自行调整）：

export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/opt/cloudera/parcels/CDH/lib/hadoop/lib/native
export SPARK_LIBRARY_PATH=$SPARK_LIBRARY_PATH:/opt/cloudera/parcels/CDH/lib/hadoop/lib/native
export SPARK_CLASSPATH=$SPARK_CLASSPATH:/opt/cloudera/parcels/CDH/lib/hadoop/lib/*

OK，重启Spark2任务，生效。