Unable to load native-hadoop library for your...问题详解

最新推荐文章于 2024-09-10 21:22:07 发布

oceanfy

最新推荐文章于 2024-09-10 21:22:07 发布

阅读量1.5k

点赞数

分类专栏： hadoop 文章标签： hadoop

本文链接：https://blog.csdn.net/oceanfy/article/details/75332656

版权

本文详细解析了Hadoop加载本地库时遇到的问题，包括Hadoop如何使用本地库提高效率，以及当加载失败时的错误信息。针对'Unable to load native-hadoop library for your platform...'的错误，提供了解决方案，主要是由于32位库在64位系统上的不兼容。建议包括下载64位的lib包，解压到Hadoop安装目录，并更新环境变量。最后，给出了检查和验证设置是否正确的命令。

摘要由CSDN通过智能技术生成

HADOOP的本地库（NATIVE LIBRARIES）介绍

Hadoop是使用Java语言开发的，但是有一些需求和操作并不适合使用java，所以就引入了本地库（Native Libraries）的概念，通过本地库，Hadoop可以更加高效地执行某一些操作。目前在Hadoop中，本地库应用在文件的压缩上面：zlibgzip gzip在使用这两种压缩方式的时候，

Hadoop默认会从$HADOOP_HOME/lib/native/Linux-*目录中加载本地库。

如果加载成功，输出为：DEBUG util.NativeCodeLoader - Trying to load the custom-built native-hadoop library... INFO util.NativeCodeLoader - Loaded the native-hadoop library

如果加载失败，输出为INF：O util.NativeCodeLoader - Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

在Hadoop的配置文件core-site.xml中可以设置是否使用本地库：

name: hadoop.native.lib

value: true

Hadoop默认的配置为启用本地库。另外，可以在环境变量中设置使用本地库的位置：export JAVA_LIBRARY_PATH=/path/to/hadoop-native-libs

有的时候也会发现Hadoop自带的本地库无法使用，这种情况下就需要自己去编译本地库了。在$HADOOP_HOME目录下，使用如下命令即可：ant compile-native

解决办法：

原因：
Apache提供的hadoop本地库是32位的，而在64位的服务器上就会有问题，因此需要自己编译64位的版本。

1、首先找到对应自己hadoop版本的64位的lib包，可以自己手动去编译，但比较麻烦，也可以去网上找，好多都有已经编译好了的。

2、可以去网站：http://dl.bintray.com/sequenceiq/sequenceiq-bin/ 下载对应的编译版本

3、将准备好的64位的lib包解压到已经安装好的hadoop安装目录的lib/native 和 lib目录下：