hadoop 2.6.4 编译

hadoop 2.6.4 编译 - 解决native 编译问题

问题起因

为了解决执行hadoop 命令时总有警告：

WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

这是hadoop native 库 默认是32位编译的,64位上会报这个错，如果不装会影响什么呢?

$ hadoop checknative

没有native 这些都不支持（感谢hadoop 群友GTP 的热心指导)

编译准备及说明

需要自己编译hadoop native 库或下载网友编译好的库替换一下hadoop-2.6.4/lib/native

我在网上找了一下，全都是2.6.4 之前的版本,我怕替换后会引起坑，

本着刨根问底的学习态度，我想尝试编译一下：

官方安装编译文档： http://hadoop.apache.org/docs/r2.6.4/hadoop-project-dist/hadoop-common/NativeLibraries.html

这里是为了解决native的问题，所以编译参照官方文档的 mvn package -Pdist,native -DskipTests -Dtar

hadoop2.6.4源码包: http://mirrors.hust.edu.cn/apache/hadoop/common/hadoop-2.6.4/hadoop-2.6.4-src.tar.gz

这是一个maven 项目，但是编译过程依赖一些组件，可见BUILDING.txt

安装依赖：

yum install zlib-devel openssl-devel ant cmake

maven

http://mirrors.tuna.tsinghua.edu.cn/apache/maven/maven-3/3.3.9/binaries/apache-maven-3.3.9-bin.tar.gz

环境变量 

MVN_HOME=/home/hadoop/software/apache-maven-3.3.9

PATH=$PATH:$MVN_HOME/bin

export MVN_HOME PATH

设置maven 的settings.xml

这里指定阿里云的maven 仓库 ,我想会大大提高包的下载速度，毕竟中央仓库在国外

   <mirror>

        <id>nexus-aliyun</id>

         <mirrorOf>*</mirrorOf>

     <name>Nexusaliyun</name>

     <url>http://maven.aliyun.com/nexus/content/groups/public</url>

   </mirror>

ProtocolBuffer 2.5.0

google 的，要翻墙,所以我找的是网友网盘的

http://pan.baidu.com/s/1pJlZubT

下载解压后, cd 目录

./configure

make && make install

protoc --version 验证是否安装成功

开始编译 hadoop2.6.4

cd hadoop-2.6.4-src

mvn package -Pdist,native -DskipTests -Dtar

编译过程中报的错:(由于我的是jdk1.8 所以切换到1.7就解决了)

以下是在网上找到的描述，引用一下:

unexpected end tag: </ul>

[ERROR] Failed to execute goal org.apache.maven.plugins:maven-javadoc-plugin:2.8.1:jar (module-javadocs) on project hadoop-annotations: MavenReportException: Error while creating archive:
[ERROR] Exit code: 1 - /root/hadoop-2.4.0-src/hadoop-common-project/hadoop-annotations/src/main/java/org/apache/hadoop/classification/InterfaceStability.java:27: error: unexpected end tag: </ul>
[ERROR] * </ul>
[ERROR] ^
[ERROR] 
[ERROR] Command line was: /root/jdk1.8.0/jre/../bin/javadoc @options @packages

原因是InterfaceStability.java中的注释问题：

解决办法 ，将JDK换成1.7版本，使用JDK1.8编译就会遇到上述问题，将</ul>行删除可以解决问题，但后续还会遇到类似的问题，所以不要使用JDK1.8编译Hadoop 2.4.0。

至此，编译完成

生成的native 在  hadoop-dist/target/hadoop-2.6.4/lib/

另外，需在hadoop-env.sh 中加入：

export HADOOP_OPTS="$HADOOP_OPTS -Djava.library.path=$HADOOP_HOME/lib/native"

即可解决问题

我编译的资源已上传:http://download.csdn.net/detail/sagaryu/9596973 （无需积分)

整个编译大约持续了26分钟，如图:

本人新接触hadoop,有很多不懂,建了个交流群:149174228 希望高人加入指点

谢谢