Hive insert overwrite时设置lzo压缩格式报错:NATIVE-LZO LIBRARY NOT AVAILABLE 解决方案

最近在将hive中的临时表数据insert overwrite到ods表中去的时候,设置为lzo的压缩格式,报错如下:

Caused by: java.lang.RuntimeException: native-lzo library not available

针对"native-lzo library not available" 异常即lzo安装的异常。

查了很多帖子,最终整合了解决方法。

1.将 HADOOP-LZO-0.4.20放到 每个机器的 /HADOOP-2.7.2/SHARE/HADOOP/COMMON/ 目录下

在这里插入图片描述
将编译后得到的hadoop-lzo-0.4.20.jar放到我的三台机器安装了hadoop的share/hadoop/common目录下。

2.修改各个HADOOP节点的HADOOP的配置文件:
cd /opt/module/hadoop-2.7.2/etc/hadoop
vi hadoop-env.sh 
# Extra Java CLASSPATH elements.  Optional.
export HADOOP_CLASSPATH="<extra_entries>:$HADOOP_CLASSPATH:${HADOOP_HOME}/share/hadoop/common"
#export JAVA_LIBRARY_PATH=${JAVA_LIBRARY_PATH}:/opt/module/hadoop-2.7.2/lib/native:/opt/glibc-2.14/lib
export JAVA_LIBRARY_PATH=${JAVA_LIBRARY_PATH}:/opt/module/hadoop-2.7.2/lib/native
3.在 CORE-SITE.XML <
  • 3
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 3
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值