Mac os下hadoop启动成功后显示unable to load native-hadoop library

Mac os下hadoop启动成功后显示unable to load native-hadoop library

解决参考Apache Hadoop - add native libraries

先说环境，
系统：Mac os 10.14.6
java版本：1.8.0_231(8u231)
hadoop版本：2.7.1
maven版本：3.6.2
终端：iTerm2
shell：zsh

根本原因是从官网上下载的hadoop代码中native library并没有针对Mac os的版本，在官网上其实也说明了这一点，链接在➡️native library说明页，说明了只支持RHEL4/Fedora，Ubuntu，Gentoo三个分支而已。既然没有针对Mac os的native library，那就只能自己编译了。

准备工作

必须：已经安装好的hadoop 2.7.1，java8，maven，homebrew
以hadoop2.7.1为基准，java8是必须的，高于此版本的java会出现各种各样的问题，主要是一些原来的引用文件找不到。maven则在编译时会使用到（如果你还没有安装maven，请点击这里）。homebrew则是必不可少的包管理器（如果你不了解什么是homebrew，请点击这里）。由于我使用的是zsh，所以我export链接都在~/.zshrc中，如果你使用的是bash（或其他shell），请自己在对应的～/.bash_profile（或其他）中修改。此外，也可修改/etc/profile文件使它全局生效，但是我并没有这么做，并且默认操作都是在～目录下，下文不再赘述。

开始编译本地库

• 安装依赖protobuf

mkdir ~/protobuf
cd ~/protobuf
wget https://github.com/google/protobuf/releases/download/v2.5.0/protobuf-2.5.0.tar.bz2
tar xfvj protobuf-2.5.0.tar.bz2
protobuf-2.5.0/configure
make or make check
make install
cd ~

之所以采用手动编译的方法安装是因为编译时使用的protobuf版本必须为2.5.0，而目前我没有找到可以用homebrew一键安装protobuf-2.5.0的方法
至于为什么必须使用2.5.0版本的protobuf，可以切换到hadoop源码文件夹使用grep 'protobuf.version' */pom.xml命令来查看

• 安装cmake，zlib，snappy

brew install cmake
brew install zlib
brew install snappy

• clone hadoop源代码

git clone https://github.com/apache/hadoop.git
cd hadoop

这一步根据网络因素的不同可能有比较长的等待时间，或者你也可以直接下载hadoop-2.x.y-src.tar.gz文件并解压

• 切换到2.7.1版本的hadoop

git checkout branch-2.7.1

• 使用maven编译

mvn package -Pdist,native -DskipTests -Dtar

如果你的maven编译时中断了，并且看到了hadoop-pipes相关的错误，请运行export OPENSSL_ROOT_DIR=$(brew --prefix openssl)这条代码，并且重新运行编译命令，maven会继续刚才的编译

• 将刚编译好的依赖库拷贝至已经安装好的hadoop目录下

mkdir -p $HADOOP_INSTALL/lib/native/osx
cp -r hadoop-dist/target/hadoop-2.7.1/lib/native/* $HADOOP_INSTALL/lib/native/osx

• 将库的目录添加到你的环境变量~/.bash_profile/~/.zshrc或$HADOOP_INSTALL/etc/hadoop/hadoop-env.sh之中

export HADOOP_OPTS="$HADOOP_OPTS -Djava.library.path=$HADOOP_INSTALL/lib/native/osx"

• 查看安装结果

hadoop checknative

如果没有问题的话，此时再启动hadoop时就不会再报unable to load native-hadoop library的错误了。

在Mac os中运行Hadoop不需要将bzip2也激活
原因未知

先这些，想到再补充，有问题可留言