运行hadoop指令之——WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform....

最新推荐文章于 2024-08-22 18:08:32 发布

_Karl

最新推荐文章于 2024-08-22 18:08:32 发布

阅读量2k

点赞数 1

分类专栏： hadoop

本文链接：https://blog.csdn.net/txd751466382/article/details/80464378

版权

配置Hadoop时遇到WARN util.NativeCodeLoader警告，提示无法加载本地Hadoop库。虽然不影响运行，但可通过ldd检查依赖库发现GLIBC版本过低（2.12），而Hadoop需要2.14。解决方案包括升级GLIBC或在log4j配置中将NativeCodeLoader的日志级别设为ERROR，避免显示警告。若为集群，需在所有节点上执行相同操作。

摘要由CSDN通过智能技术生成

配置完hadoop启动的时候出现如下警告信息但是会正常显示结果：

[hadoop@min1 ~]$ hadoop fs -ls /
18/05/26 19:14:46 WARN util.NativeCodeLoader: Unable to load native-hadoop libra
ry for your platform... using builtin-java classes where applicable
Found 4 items
drwxr-xr-x   - hadoop supergroup          0 2018-05-25 10:57 /test

1.问题:为什么会有警告?

提示不能加载本地hadoop库......虽然能运行, 但是有警告是不是看着很不爽?

那就让我们先来查看一下依赖库

---->进入hadoop安装目录

[hadoop@min1 ~]$ cd /home/hadoop/develop_env/hadoop-2.7.1/lib/native/

用ldd命令查看依赖库, 会输出如下信息：

[hadoop@min1 native]$ ldd libhadoop.so.1

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

_Karl

关注关注

1
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

Hadoop 启动WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform… using

01-09

搭建hadoop 环境时遇到启动异常告警问题 “WARN util.NativeCodeLoader: ...Hadoop之—— WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform… hadoop 版本：CDH hadoop-2.6.0-cdh

踩坑：WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using built

japson的专栏

07-22

5826

踩坑：WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform… using builtin-java classes where applicable 标签：踩坑有一阵儿没学hadoop了，今天在启动hadoop的时候，发现每次输入命令运行都会出现： WARN util...

参与评论您还未登录，请先登录后发表或查看评论

HBase Unable to load native-hadoop library for your platform警告解决方案

半斤米粉闯天下的博客

03-02

6224

在启动hbase shell时出现了这样的警告： 2020-03-02 18:46:49,380 WARN [main] util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable 其实这个警告并不影响执行命令...

Hadoop入门基础（五）：Hadoop 常用 Shell 命令一网打尽，提升你的大数据技能！

热门推荐

qq_41541801的博客

09-05

6万+

1、在启动和操作Hadoop过程中，总是会提示warning信息： WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform… using builtin-java classes where applicable 搜索的结果大部分说是操作系统与hadoop的位数不一致造成的，然而事...

异常解决：util.NativeCodeLoader: Unable to load native-hadoop library for your platform

大海蓝天的专栏

11-20

968

先说一下我的环境：ubuntu14.04 64位系统hadoop 2.7.1spark 2.0.0java 1.8scala 2.11.8装好hadoop和spark后，执行spark-shell时，和执行spark程序时，会有一个WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform…

hadoop-3.0.0 win工具包 hadoop.dll winutils.exe

05-21

util.Shell (Shell.java:(694)) - Did not find winutils.exe: {} java.io.FileNotFoundException: Could not locate Hadoop executable: E:\hadoop-3.0.2\bin\winutils.exe -see ...

64位hadoop-2.6.0 lib/native.tar.gz

08-03

自己在网上下载了一个hadoop-2.6.0-cdh5.15.1版本的hadoop，启动hdfs时报错：WARN org.apache.hadoop.util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java ...

jdk7+ubuntu14.04_32位下编译的hadoop2.6.0的libhadoop.so.1.0.0

03-03

jdk7+ubuntu14.04_32位下编译的hadoop2.6.0的libhadoop....14/10/10 08:35:56 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

启动Hadoop文件系统时报错：util.NativeCodeLoader: Unable to load native-hadoop library for your platform..using

cacasi2568的专栏

07-15

3645

启动Hadoop文件系统时报错： 18/06/21 00:45:57 WARNutil.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable 首先打开调试，查看具体的报错信息在/etc/profile中，添加 Export HADOOP_ROOT_LOGGER=DEBUG,console 最后记得使配置生效.

解决Hadoop运行时的WARN util. NativeCodeLoader: Unable to load native-hadoop library for your platform

sun7_9的博客

11-20

1万+

每次运行hdfs命令时，都会出现下图的警告: 问题：每次运行hdfs命令时，都会出现下图的警告： WARN util. NativeCodeLoader: Unable to load native-hadoop library for your platform… using builtin –java classes where applicable 原因：native-hadoop library本地库不一致导致了该问题的出现：解决方法： hadoop的一些不兼容性，需要通过编译对应hadoop版本

Hadoop启动警告：util.NativeCodeLoader: Unable to load native-hadoop library for your platform

tiankong_12345的博客

06-25

923

目录一、问题二、排查&解决 1、网上搜相关问题 2、先去看看 $HADOOP_HOME/lib/native 下有没有什么东西 3、重启hadoop，没有警告了一、问题 Hadoop启动出现警告： [hadoop@hadoop000 ~]$ start-all.sh This script is Deprecated. Instead use start-dfs.s...

【Hadoop】解决Hadoop Unable to load native-hadoop library问题

strawcherry_wj的博客

09-02

9242

1、启动Hadoop提示WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform… using builtin-java classes where applicable 在/etc/profile中添加 export HADOOP_OPTS="$HADOOP_OPTS -Djava.library.path=/hadoop/hadoop-2.9.2/lib/native/" 参考链接 https:

Hadoop HDFS 出现 WARN Unable to load native-hadoop library for your platform解决方法

今夜无眠

04-10

3895

1. 问题：运行hadoop的hdfs的客户端的时候出现警告如下 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable 2.问题原因：Hdfs在实现IO操作的时候，为了提升IO的性能默认使用C...

WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

12-20

根据提供的引用内容，当出现"WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable"的警告时，这意味着无法加载本地的hadoop库。这个问题通常是由于hadoop的一些不兼容性导致的，解决方法是通过编译对应hadoop版本的源码来获取native-hadoop库。以下是解决该问题的步骤： 1. 首先，你需要找到hadoop的源码，可以在GitHub上找到它，链接为：https://github.com/apache/hadoop。 2. 进入hadoop源码的目录，并执行以下命令来编译源码并获取native-hadoop库： ```shell mvn package -Pdist native -DskipTests -Dtar ``` 这样，你就可以通过编译hadoop源码来解决"Unable to load native-hadoop library for your platform"的问题了。