NativeCodeLoader:62 - Unable to load native-hadoop library for your platform... using builtin-java c

在Spark运行时出现下面提示
NativeCodeLoader:62 - Unable to load native-hadoop library for your platform… using builtin-java classes where applicable
这是一个WRAN提示,当然肯定不影响程序的运行,但终究还是看着不爽.
其实这条异常信息的意思就是说它找不到Hadoop的原生库,这个库是一个底层C++写的一个库,没有找到它程序会默认使用一个效率相对来说要低一点的java类库.
在网上看到很多的文章.都说的是hadoop官网放的编译好的包是在32位的机子上编译的,自己的机子是64位的所以要自己下源项目文件下来自己编译一次.
但是我发现并不是这个问题,只需要在$SPARK_HOME/conf/spark-env.sh 中添加下面这条配置即可:

export LD_LIBRARY_PATH=${LD_LIBRARY_PATH}:$HADOOP_HOME/lib/native

保存后将Spark重启.
好了再次执行程序时就不会出现异常信息了