注:升级glib库解决问题请参加链接:https://blog.csdn.net/l1028386804/article/details/88420473
问题描述
配置完Hadoop集群并启动成功,但是在使用hdfs
命令查看hdfs
文件系统数据的时候出现如下警告信息:
WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
分析问题原因
百度了下,很多人回答这是hadoop的预编译包是32bit的,运行在64bit上就会有问题。但是这个答案大多数时候都是错的。
如何验证64bit还是32bit?
cd ${hadoop_home}/lib/native
# 用ldd命令查看依赖库
ldd libhadoop.so.1.0.0
输出信息如下:
可以看到依赖的都是/lib64/
的动态库,所以不是64位/32位问题。但是看到报错,GLIBC_2.14
找不到,现在检查系统的glibc
库, ldd --version
即可检查。
输入命令:
ldd --version
输出如下信息:
原来系统预装的glibc
库是2.12
版本,而hadoop
期望是2.14
版本,所以打印警告信息。
解决方案
方案一
重新编译glibc.2.14版本,安装后专门给hadoop使用,这个有点麻烦。
参考:https://blog.csdn.net/l1028386804/article/details/88420473
方案二(推荐)
直接在log4j日志中去除告警信息。
在${hadoop_home}/etc/hadoop/log4j.properties
文件末尾中添加:
log4j.logger.org.apache.hadoop.util.NativeCodeLoader=ERROR
方案三
在${hadoop_home}/etc/hadoop/hadoop-env.sh
文件加一条如下命令:
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib:$HADOOP_COMMON_LIB_NATIVE_DIR"
然后source一下。