源码编译 - hadoop3.31

东北偏西

于 2023-03-04 15:42:20 发布

阅读量446

点赞数

分类专栏： hadoop 文章标签： linux 大数据 hadoop

本文链接：https://blog.csdn.net/weixin_45441077/article/details/129334932

版权

hadoop 专栏收录该内容

1 篇文章 0 订阅

订阅专栏

一、准备工作

1、下载hadoop源码

官网地址：Welcome to The Apache Software Foundation!

清华大学镜像网站：Index of /apache

2、编译版本及要求

下载源码，上传至Linux，解压

tar -zxvf hadoop-3.3.1-src.tar.gz -C /usr/local

查看编译要求

less /usr/local/hadoop-3.3.1-src/BUILDING.txt

3、准备编译环境所需安装包

#jdk
    jdk-8u181-linux-x64.rpm

#maven 
    apache-maven-3.9.0-bin.tar.gz

#ant 一个将软件编译、测试、部署等步骤联系在一起加以自动化的一个工具，用于Java环境中的软件开发。
    apache-ant-1.9.9-bin.tar.bz2

#protobuf 谷歌研发出来的一个网络通信和数据存储的协议 (必备) 2.5版本
    protobuf-2.5.0.tar.gz

#findbugs 编译源码的过程中如果出现bug findbugs会自动帮你找到并定位到这个bug
    findbugs-3.0.1.tar.gz

#node
    node-v13.1.0-linux-x64.tar.gz

#cmake
    cmake-3.26.0-rc5.tar

#snappy
    snappy-1.1.3.tar.gz

4、安装环境配置环境变量

1）yum安装系统自带

yum -y install svn ncurses-devel gcc* lzo-devel zlib-devel autoconf automake libtool openssl-devel bzip2

2）jdk

rpm -ivh jdk-8u181-linux-x64.rpm

3）maven

解压到指定目录
    tar -zxvf apache-maven-3.9.0-bin.tar.gz -C /opt

修改权限
    chmod -R 765 apache-maven-3.9.0

创建软连接(绝对路径)
    ln -s /opt/apache-maven-3.9.0 /usr/local/maven

修改配置文件
    vi /usr/local/maven/conf/setting.xml

  a、本地仓库位置
     <localRepository>/data/maven/repository</localRepository>

  b、镜像仓库
        <mirrors>

            <!-- 阿里云仓库 -->

                <mirror>
                <id>alimaven</id>
                <mirrorOf>central</mirrorOf>
                <name>aliyun maven</name>                        <url>http://maven.aliyun.com/nexus/content/repositories/central/</url>
                </mirror>

            <!-- 中央仓库1 -->

                <mirror>
                <id>repo1</id
                <mirrorOf>central</mirrorOf>
                <name>Human Readable Name for this Mirror.</name>
                <url>http://repo1.maven.org/maven2/</url>
                </mirror>

            <!-- 中央仓库2 -->

                <mirror>
                <id>repo2</id>
                <mirrorOf>central</mirrorOf>
                <name>Human Readable Name for this Mirror.</name>
                <url>http://repo2.maven.org/maven2/</url>
                </mirror>

      </mirrors>


验证
mvn -v

4）ant

解压到指定位置
tar -zxvf apache-ant-1.9.9-bin.tar.bz2 -C /opt

创建软连接
ln -s /opt/apache-ant-1.9.9 /usr/local/apache-ant

验证
ll /usr/loca/ ｜grep ‘ant‘

5）protobuf

解压压缩文件
tar -zxf protobuf-2.5.0.tar.gz -C /usr/local/

检查编译所用的环境，并生成用make命令编译使用的文件
cd /usr/local/protobuf-2.5.0
./configure

#编译protobuf
make

#安装protobuf
sudo make install

#查看版本信息并验证是否安装成功 
protoc --version

6）findbugs

解压
tar -xzf findbugs-3.0.1.tar.gz -C /usr/local

查看版本
/usr/local/findbugs-3.0.1/bin/findbugs -version

7）node

系统自带版本较低

解压
tar -zxvf node-v13.1.0-linux-x64.tar -C /opt

创建软连接
ln -s /opt/node-v13.1.0-linux-x64 /usr/local/node

8)cmake

yum 安装版本低，后期编译报错

卸载已安装的
yum erase cmake

解压
tar -zxvf cmake-3.13.5.tar.gz -C /opt

跳转至cmake目录：
cd /opt/cmake

编译
./configure

安装
make && make install


检验安装是否成功
cmake -version

9）snappy

#解压压缩
tar -xzf snappy-1.1.3.tar.gz -C /usr/local/

#检查编译所用的环境，并生成用make命令编译使用的文件
cd /usr/local/snappy-1.1.3

./configure

#编译
make 

#安装
sudo make install

#查看安装情况
ls -lh /usr/local/lib |grep snappy

10）配置环境变量

vi /etc/profile

#java
export JAVA_HOME=/usr/java/jdk1.8.0_181-amd64
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib:$CLASSPATH
export JAVA_PATH=${JAVA_HOME}/bin:${JRE_HOME}/bin

#node
export NODE_HOME=/usr/local/node
export PATH=$NODE_HOME/bin:$PATH

#set Hadoop_compile
export MAVEN_HOME=/usr/local/maven
export FINDBUGS_HOME=/usr/local/findbugs
export PROTOBUF_HOME=/usr/local/protobuf
export ANT_HOME=/usr/local/apache-ant
export PATH=$PATH:$MAVEN_HOME/bin:$FINDBUGS_HOME/bin:$ANT_HOME/bin
export MAVEN_OPTS="-Xmx2g -XX:MaxMetaspaceSize=512M -XX:ReservedCodeCacheSize=512m"

二、编译

进入hadoop目录
cd /usr/local/hadoop-3.3.1-src

开始编译
mvn clean package -Pdist,native -DskipTests -Dtar -Dbundle.snappy -Dsnappy.lib=/usr/local/lib

编译完成后位置
/usr/local/hadoop-3.3.1-src/hadoop-dist/target

由于项目较大，请耐心等待

编译成功

三、编译报错

1、hadoop-maven-plugins:3.3.1:cmake-compile

Failed to execute goal org.apache.hadoop:hadoop-maven-plugins:3.3.1:cmake-compile (cmake-compile) on project hadoop-common: CMake failed with error code 1 -> [Help 1]

原因：yum安装的cmake版本太低，需重新安装

2、frontend-maven-plugin:1.11.2:yarn (yarn install)

Failed to execute goal 

com.github.eirslett:frontend-maven-plugin:1.11.2:yarn (yarn install) 

on project hadoop-yarn-applications-catalog-webapp: 

Failed to run task: 'yarn ' failed. org.apache.commons.exec.ExecuteException: Process exited with an error: 1 (Exit value:1) -> [Help 1]

原因：node版本与pom中版本不一致

确认编辑报错位置：hadoop-yarn-applications-catalog-webapp（cd /usr/local/hadoop-3.3.1-src/hadoop-yarn-project/hadoop-yarn/hadoop-yarn-applications/hadoop-yarn-applications-catalog/hadoop-yarn-applications-catalog-webapp）

修改pom.xml文件中<nodeVersion>v8.11.3</nodeVersion>与系统版本一致