Hadoop源码编译

前置要求

• Java 1.8
• 源码下载
• Maven 下载
• protobuf 2.5+下载

一、安装相关的依赖库(用root或者有sudo权限的用户)

  sudo yum install -y svn ncurses-devel gcc*
  sudo yum install -y openssl openssl-devel svn ncurses-devel zlib-devel libtool
  sudo yum install -y snappy snappy-devel bzip2 bzip2-devel lzo lzo-devel lzop autoconf automake cmake

二 、下载安装protobuf

2.1 下载

 cd ~/software 
 wget  wget https://github.com/protocolbuffers/protobuf/releases/download/v2.5.0/protobuf-2.5.0.tar.gz

2.2 解压并安装到~/app目录下

 tar -zxvf  protobuf-2.5.0.tar.gz -C ~/app

2.3 将protobuf配置到系统环境目录中(这个简单)

   将以下两个export 
   export PROTOBUF_HOME=/home/hadoop/app/protobuf-2.5.0
   export PATH=$PROTOBUF_HOME/bin:$PATH  配置到 ~/.bash_profile目录中 
   不要忘记 source ~/.bash_profile 使其生效；

三 、配置Maven相关内容
3.1 修改本地仓库，使其编译速度快一点

<localRepository>/home/hadoop/.m2/repo</localRepository>

3.2 修改maven镜像

<mirror>
		<id>nexus-aliyun</id>
		<mirrorOf>central</mirrorOf>
		<name>Nexus aliyun</name>
		<url>http://maven.aliyun.com/nexus/content/groups/public</url>
</mirror>

3.3 手动添加jar包

因为后面编译hadoop的时候,需要下载maven的jar包,比较多,所以直接拷贝了哥们的maven的Jar包。

链接:https://pan.baidu.com/s/1l1g9wOui7nRRj7BaOy0QmA  密码:xvzo

下载解压后，拷贝到刚刚指定的本地仓库中！！！

四、编译

mvn clean package -Pdist,native -DskipTests -Dtar

坑一：

解决方法：cd /home/hadoop/.m2/repo/tomcat/jasper-compiler/5.5.23

          删除  jasper-compiler-5.5.23.jar :   rm jasper-compiler-5.5.23.jar

重新编译： mvn clean package -Pdist,native -DskipTests -Dtar -Dmaven.javadoc.skip=true