spark shell启动警告 Unable to load native-hadoop library for your platform

Hadoop版本:2.7.3

Spark版本:2.1.2

 

原因：spark预先编译的hadoop版本为32位的，放在64位的机器上执行会报这个错误，解决办法

办法一：亲测有效

cd /usr/local/spark/conf      

切换到spark的conf目录下

cp spark-env.sh.template spark-env.sh   

将 spark-env.sh.template 复制为spark-env.sh

sudo gedit spark-env.sh      

在spark-env.sh文件中加入LD_LIBRARY_PATH环境变量LD_LIBRARY_PATH=$HADOOP_HOME/lib/native

办法二、

在 ~/.bashrc 设置一下 export LD_LIBRARY_PATH=$HADOOP_HOME/lib/native

参考

http://blog.csdn.net/woshiren123ew/article/details/65447909