spark-shell运行时找不到hadoop native库

启动时候报错:

NativeCodeLoader: Unable to load native-hadoop library for your platform...

通过hadoop checknative命令检查hadoop native库

可以找到,并且用file命令可以检查是64位的,实际上hdfs已经启动,应该是spark的问题,还怀疑过是否版本不对

最后发现,需要通过$LD_LIBRARY_PATH变量,将动态库导入运行时环境,虽然网上不推荐,但是没有其他办法,尝试过ldconfig,没用

最后解决的命令:echo 'export LD_LIBRARY_PATH=$HADOOP_HOME/lib/native/'>>~/.bashrc


网上的文档:

1·解决办法:

https://stackoverflow.com/questions/30369380/hadoop-unable-to-load-native-hadoop-library-for-your-platform-error-on-docker

2·额外动态库的相关环境变量说明:

http://www.cnblogs.com/panfeng412/archive/2011/10/20/library_path-and-ld_library_path.html

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值