解决Spark无法加载Hadoop本地版本库的问题

就是报以下这个警告的，也不知道对运行程序究竟会产生什么样的影响。

unable to load native-hadoop library for your platform... using builtin-java classes where applicable

首先，你的Hadoop是在本地已经编译过的版本，这样在hadoop/lib/native就会生成一些本地库相关的文件。这样就不会出现运行Hadoop的时候报该错，试了一下网上的一些方法发现不行。

既然不能修改本地库，那就考虑修改环境变量中的PATH，PATH路径要保证读的库地址要在本地库地址路径的前面，因为PATH只要找到结果就会返回，既然我们的Hadoop/lib/native目录下面已经有了编译好的本地库，spark依赖于jdk，并不依赖于Hadoop，所以可能因此无法找到Hadoop的本地库文件

我们只需要在spark配置文件中，加入两个本地库的路径，然后就发现，没有了之前的警告了！

export LD_LIBRARY_PATH=$HADOOP_HOME/lib/native:$JAVA_HOME/lib/amd64