Hadoop 异常解决:util.NativeCodeLoader: Unable to load native-hadoop library for your platform

目录

警告

不知道怎么回事,今天做spark实验时,为了方便,没有将数据上传至HDFS,就在本地调用(我觉得可能是这个原因,以前做实验都是直接调HDFS文件没有本地调过)然后就报错

util.NativeCodeLoader: Unable to load native-hadoop library for your platform

虽然运行时将
spark-submit --class src.main.test.APP sql_test.jar
写为
spark-submit --class src.main.test.App sql_test.jar

但改完运行后,用Hadoop命令还是报错

解决

看了一个博客
Hadoop之—— WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform…
里面评论说是将

~/hadoop-2.8.1/etc/hadoop/hadoop-env.sh 文件加一条如下命令:
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib:$HADOOP_COMMON_LIB_NATIVE_DIR",
然后source一下

我做了后发现还是没有用

后来又找到一篇
异常解决:util.NativeCodeLoader: Unable to load native-hadoop library for your platform
,原来是加的文件不对。
在etc/profile添加配置

export  HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export  HADOOP_HOME=/home/hadoop/labc/hadoop-2.7.1
export  HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib:$HADOOP_COMMON_LIB_NATIVE_DIR"

然后source,用Hadoop命令测试后,发现警告没有了

虽然之前那篇博客
Hadoop之—— WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform…
得评论的解决方法不对
但是他的另一篇博客
添加链接描述
我觉得可能对一些人有帮助,这篇主要讲的系统的glibc版本问题

  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值