警告
不知道怎么回事,今天做spark实验时,为了方便,没有将数据上传至HDFS,就在本地调用(我觉得可能是这个原因,以前做实验都是直接调HDFS文件没有本地调过)然后就报错
util.NativeCodeLoader: Unable to load native-hadoop library for your platform
虽然运行时将
spark-submit --class src.main.test.APP sql_test.jar
写为
spark-submit --class src.main.test.App sql_test.jar
但改完运行后,用Hadoop命令还是报错
解决
看了一个博客
Hadoop之—— WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform…
里面评论说是将
在~/hadoop-2.8.1/etc/hadoop/hadoop-env.sh 文件加一条如下命令:
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib:$HADOOP_COMMON_LIB_NATIVE_DIR",
然后source一下
我做了后发现还是没有用
后来又找到一篇
异常解决:util.NativeCodeLoader: Unable to load native-hadoop library for your platform
,原来是加的文件不对。
在etc/profile添加配置
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_HOME=/home/hadoop/labc/hadoop-2.7.1
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib:$HADOOP_COMMON_LIB_NATIVE_DIR"
然后source,用Hadoop命令测试后,发现警告没有了
虽然之前那篇博客
Hadoop之—— WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform…
得评论的解决方法不对
但是他的另一篇博客
添加链接描述
我觉得可能对一些人有帮助,这篇主要讲的系统的glibc版本问题