spark提示 Unable to load native-hadoop lib

为什么80%的码农都做不了架构师？>>>   

spark在提交任务的时候，也会跟hadoop一样，报这个异常。

前提是hadoop/lib/native中已经有那些包了，然后把hadoop/lib/native加到环境变量LD_LIBRARY_PATH中。

在~/.bashrc中加入如下代码，为保险起见，在每个spark节点都加：

export LD_LIBRARY_PATH=/home/bigdata/apps/hadoop-2.6.0-cdh5.5.2/lib/native/:$LD_LIBRARY_PATH

source ~/.bashrc

参考：spark加载hadoop本地库的时候出现不能加载的情况要怎么解决呢？

 

转载于:https://my.oschina.net/cjun/blog/662763