解决MacOS hadoop运行时报unable to load native-hadoop libary 的警报问题
当我们运行Hadoop的时候,总是会出现如下警报:
WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
这个警报的意思是系统运行的时候没有原生的hadoop库,虽然不会影响程序正常运行,但会给强迫症的人一些烦恼。这对于Windows环境同样适用,因为它也未提供本机库。这时有一个办法可以帮助清除这个warning,但注意,这个方法治标不治本。
只需要打开$HADOOP_CONF_DIR/log4j.properties(通常是用此路径访问到这个文件,/usr/local/Cellar/hadoop/3.3.0/libexec/etc/hadoop/log4j.properties,注意版本号可能不同,不是3.3.0)
然后在文件中加上:
log4j.logger.org.apache.hadoop.util.NativeCodeLoader=ERROR
那现在将仅记录错误(而非警告)
注意:
- 此方法治标不治本,治本的方法目前我还没找到=。=
- $HADOOP_CONF_DIR表示的是hadoop配置文件目录,每个系统不同