国内网络编译，Ambari 2.7.6 全部模块源码编译笔记

最新推荐文章于 2024-09-17 22:40:11 发布
最新推荐文章于 2024-09-17 22:40:11 发布
阅读量1.1k 收藏 7
点赞数 1
分类专栏： Ambari 文章标签： ambari hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/create_17/article/details/127955320
版权

本次编译 ambari 2.7.6 没有使用科学上网的工具，使用的普通网络，可以编译成功，过程比 ambari 2.7.5 编译时要顺畅。

该版本相对 2.7.5 版本以来，共有 26 个 contributors 提交了 114 个 commits 以及修改了 557 个文件。详情见：https://github.com/apache/ambari/compare/release-2.7.5…release-2.7.6

ambari 2.7.6 源码编译与之前版本相比，就编译来说优化了很多地方，主要有：

  • 涉及前端模块的 npm 构建都切换为了 yarn 构建。关于 npm vs yarn 可参考：https://zhuanlan.zhihu.com/p/23493436
  • 编译 ambari-metrics 模块时，摆脱了 hortonworks 提供的 hbase、hadoop、grafana、phoenix 地址，改为了 apache 提供的地址，能直接下载到。

好了，是不是很期待编译 ambari 2.7.6 ？那我们现在开始吧！~

一、下载 ambari 2.7.6

我们将 ambari 源码包下载到/opt目录下：

cd /opt
# https://github.com/apache/ambari/archive/refs/tags/release-2.7.6.tar.gz   源码包大小：81.4M
# https://www-eu.apache.org/dist/ambari/ambari-2.7.6/apache-ambari-2.7.6-src.tar.gz    源码包大小：85.9M
# https://mirrors.tuna.tsinghua.edu.cn/apache/ambari/ambari-2.7.6/apache-ambari-2.7.6-src.tar.gz   源码包大小：85.9M
wget https://archive.apache.org/dist/ambari/ambari-2.7.6/apache-ambari-2.7.6-src.tar.gz  # 源码包大小：85.9M，和www-eu.apache.org、mirrors.tuna.tsinghua.edu.cn网站提供的是一个文件，推荐使用
tar zxvf apache-ambari-2.7.6-src.tar.gz
chown -R root:root apache-ambari-2.7.6-src

二、前置工作

版本说明：

工具版本
操作系统CentOS 7
java1.8.0_151
maven3.3.9
rpm-build4.11.3-43.el7.x86_64
gcc-c++4.8.5-39.el7.x86_64
python2.6（系统自带）
python-devel2.7.5-88.el7.x86_64
git1.8.3.1
1、java 安装

需要下载的依赖安装包，在我的云盘已经保存好了，详情点击下载，链接: https://pan.baidu.com/s/13artwjfgi7ikJiKIBbzb7w 提取码: fgia

1）下载安装包

mkdir /usr/java
cd /usr/java
# 将jdk-8u151-linux-x64.tar.gz拷贝到/usr/java目录下
# 解压
tar zxvf jdk-8u151-linux-x64.tar.gz
# 删除tar包
rm -rf jdk-8u151-linux-x64.tar.gz

2）修改配置文件

vim /etc/profile
# 文末添加如下：
# set java
export JAVA_HOME=/usr/java/jdk1.8.0_151
export PATH=$PATH:$JAVA_HOME/bin
# 保存并退出
:wq!
# 使配置文件生效
source /etc/profile

3）查看版本

java -version
2、maven 安装

1）下载安装包

mkdir /usr/maven
cd /usr/maven
# 将apache-maven-3.3.9-bin.tar.gz拷贝到/usr/maven目录下
# 解压
tar zxvf apache-maven-3.3.9-bin.tar.gz
# 删除tar包
rm -rf apache-maven-3.3.9-bin.tar.gz

2）修改配置文件

vim /etc/profile
# 文末添加如下：
# set mvn
export MAVEN_HOME=/usr/maven/apache-maven-3.3.9
export PATH=$MAVEN_HOME/bin:$PATH
# 保存并退出
:wq!
# 使配置文件生效
source /etc/profile

3）查看版本

mvn -v
3、rpm-build 安装
yum install rpm-build -y
4、gcc-c++ 安装
# centos-7 自带
yum install gcc-c++ -y
5、python-devel 安装
# centos-7 自带
yum install python-devel
6、git 安装
yum install git -y

三、编译 Ambari

1、maven 镜像源配置

编辑 apache-maven-3.3.9/conf/settings.xml 配置文件，添加好下述镜像源，会提高编译ambari的速度。

<mirrors>
    <mirror>
        <id>alicentral</id>
        <name>aliyun maven central</name>
        <url>https://maven.aliyun.com/repository/central</url>
        <mirrorOf>central,apache.snapshots.https,maven2-repository.dev.java.net,maven2-glassfish-repository.dev.java.net,maven2-repository.atlassian,apache.staging.https,oss.sonatype.org,spring-milestones</mirrorOf>
    </mirror>
    <mirror>
        <id>alipublic</id>
        <name>aliyun maven public</name>
        <url>https://maven.aliyun.com/repository/public</url>
        <mirrorOf>central</mirrorOf>
    </mirror>
    <mirror>
        <id>nexus-hortonworks</id>
        <name>Nexus hortonworks</name>
        <url>https://repo.hortonworks.com/content/groups/public/</url>
        <mirrorOf>central</mirrorOf> 
    </mirror>
    <mirror>
        <id>HDPReleases</id>
        <name>HDP Releases</name>
        <url>https://repo.hortonworks.com/content/repositories/releases/</url>
        <mirrorOf>central</mirrorOf>
    </mirror>
</mirrors>
  • id: 唯一标识
  • name: 名称描述
  • url: 地址
  • mirrorOf: 可以理解"为某个仓库（repository）的做镜像"，填写的是repostoryId。相当于一个拦截器，它会拦截maven对remote repository的相关请求，把请求里的remote repository地址，重定向到mirror里配置的地址。可选项：
    • central: 匹配远程中央仓库
    • * 匹配所有的仓库，但这样有个缺点，就是如果该镜像仓库没有所需jar包，则报错
    • external:* 除了本地缓存之后的所有仓库
    • repo,repo1 repo 或者 repo1。 这里repo指的是repostoryId
    • *,!repo1 除了repo1的所有远程仓库

更多知识可参考：https://www.jianshu.com/p/c4f02c5bdfc7

2、将 HDP 3.0 和 3.1 文件拷贝到源码中上

在 ambari2.7.6.0 源码里面，是缺少 HDP 3.0 和 3.1 相关目录的，缺失的话，会导致 ambari 在界面部署 hdp 集群时，出现如下图的窘况：

解决办法就是： 将 HDP 3.0 和 3.1 目录拷贝到 ambari-server 的源码里面，具体路径：./ambari-server/src/main/resources/stacks/HDP/ 下，这样后面在编译过程中，就会把这俩目录打到ambari-server.rpm包里面了。

HDP 3.0 和 3.1 文件链接: 可备注【ambari】加我好友 create17_ 免费获取。

3、编译命令

编译ambari的话，如果有自定义版本号的要求，可以先给ambari源码打上自己定义的版本号。打版本号其实就是通过mvn命令自动修改pom.xml文件里面的version值，包括子模块。

然后第二步就是通过mvn命令，将ambari各模块源码编译，最终得到各自的rpm包，类似hortonworks官方提供的ambari相关rpm包。

# 给ambari源码打版本号，版本号可自定义
mvn versions:set -DnewVersion=2.7.6.0.199
# 进入ambari-metrics模块
pushd ambari-metrics
# 打版本号
mvn versions:set -DnewVersion=2.7.6.0.199
# 返回到ambari根目录
popd
# 进入ambari-logsearch模块
pushd ambari-logsearch
# 打版本号
mvn versions:set -DnewVersion=2.7.6.0.199
# 返回到ambari根目录
popd
# 进入ambari-infra模块
pushd ambari-infra
# 打版本号
mvn versions:set -DnewVersion=2.7.6.0.199
# 返回到ambari根目录
popd
# 开始编译
mvn -B -X install rpm:rpm -DnewVersion=2.7.6.0.199 -DbuildNumber=5895e4ed6b30a2da8a90fee2403b6cab91d19972 -DskipTests -Dpython.ver="python >= 2.6" -Drat.skip=true
# 建议将上述命令全量复制，需要buildNumber，否则等rpm包安装时，会报buildNumber错误；-Drat.skip=true会跳过license校验。

四、编译技巧

ambari 源码分为多个模块，当某个模块编译失败时，我们想继续从这个模块开始编译，怎么做呢？

举个例子，假如 ambari-web 模块编译报错，只需要在编译命令的末尾添加：-rf :ambari-web 即可。当报错时显示的模块名，会在 mvn 输出的最后一行显示。

五、报错记录

本文列举了 ambari 2.7.6 全部源码编译时的报错记录，关于解决方案可访问：https://mbd.pub/o/bread/mbd-Y5yWmphy

1、Ambari Web 编译失败

2、Ambari Admin View 编译失败




3、Files 视图编译失败



4、Pig 模块编译失败


5、Capacity Scheduler 编译失败

6、WF Manager View 编译失败

7、Ambari Logsearch Web 编译失败


8、Ambari Infra Assembly 编译失败

本文列举了 ambari 2.7.6 全部源码编译时的报错记录，关于解决方案可访问：https://mbd.pub/o/bread/mbd-Y5yWmphy

六、编译包整理


Ambari 视图、ambari-metrics、ambari-logsearch、ambari-solr 都编译成功了。这里想多说一句，对于网络上的一些博客，大部分都是只编译了ambari-server 和 ambari-agent，甚至连 ambari 视图都没有编译到。在这里，我的教程是很全的，大家可以跟着我的教程做。对于 ambari 源码编译，我已经帮助过很多很多人了。

Ambari 源码全部编译完成后，我们需要将 ambari 各模块的编译包汇总起来。以 centos7 为例，我们需要将编译得到的 rpm 包汇总起来：

mkdir /var/www/html/ambari2/
cp -r ./ambari-server/target/rpm/ambari-server/RPMS/x86_64/ambari-server-2.7.6.0-199.x86_64.rpm /var/www/html/ambari2/
cp -r ./ambari-agent/target/rpm/ambari-agent/RPMS/x86_64/ambari-agent-2.7.6.0-199.x86_64.rpm /var/www/html/ambari2/
cp -r ./ambari-metrics/ambari-metrics-assembly/target/rpm/ambari-metrics-collector/RPMS/x86_64/ambari-metrics-collector-2.7.6.0-199.x86_64.rpm /var/www/html/ambari2/
cp -r ./ambari-metrics/ambari-metrics-assembly/target/rpm/ambari-metrics-hadoop-sink/RPMS/x86_64/ambari-metrics-hadoop-sink-2.7.6.0-199.x86_64.rpm /var/www/html/ambari2/
cp -r ./ambari-metrics/ambari-metrics-assembly/target/rpm/ambari-metrics-grafana/RPMS/x86_64/ambari-metrics-grafana-2.7.6.0-199.x86_64.rpm /var/www/html/ambari2/
cp -r ./ambari-metrics/ambari-metrics-assembly/target/rpm/ambari-metrics-monitor/RPMS/x86_64/ambari-metrics-monitor-2.7.6.0-199.x86_64.rpm /var/www/html/ambari2/
cp -r ./ambari-metrics/ambari-metrics-common/target/rpm/ambari-metrics-common/RPMS/noarch/ambari-metrics-common-2.7.6.0-199.noarch.rpm /var/www/html/ambari2/
cp -r ./ambari-infra/ambari-infra-assembly/target/rpm/ambari-infra-solr/RPMS/noarch/ambari-infra-solr-2.7.6.0-199.noarch.rpm /var/www/html/ambari2/
cp -r ./ambari-infra/ambari-infra-assembly/target/rpm/ambari-infra-solr-client/RPMS/noarch/ambari-infra-solr-client-2.7.6.0-199.noarch.rpm /var/www/html/ambari2/
cp -r ./ambari-infra/ambari-infra-assembly/target/rpm/ambari-infra-manager/RPMS/noarch/ambari-infra-manager-2.7.6.0-199.noarch.rpm /var/www/html/ambari2/
cp -r ./ambari-logsearch/ambari-logsearch-assembly/target/rpm/ambari-logsearch-portal/RPMS/noarch/ambari-logsearch-portal-2.7.6.0-199.noarch.rpm /var/www/html/ambari2/
cp -r ./ambari-logsearch/ambari-logsearch-assembly/target/rpm/ambari-logsearch-logfeeder/RPMS/noarch/ambari-logsearch-logfeeder-2.7.6.0-199.noarch.rpm /var/www/html/ambari2/

如下图所示：

接下来就可以将这些 rpm 包制作为 yum 本地源了。

笔记为 Ambari 2.7.6 全部源码编译保姆级教程，记录了编译过程中所有的报错及解决方案，过程非常详细，是不可多得的好教程。

【完整版】国内网络编译，Ambari 2.7.6 全部模块源码编译笔记
CREATE_17的博客
03-05 651
ambari 2.7.6 源码编译与之前版本相比，就编译来说优化了很多地方，主要有： 1、涉及前端模块的 npm 构建都切换为了 yarn 构建。关于 npm vs yarn 可参考：https://zhuanlan.zhihu.com/p/23493436 2、编译 ambari-metrics 模块时，摆脱了 hortonworks 提供的 hbase、hadoop、grafana、phoenix 地址，改为了 apache 提供的地址，能直接下载到。 好了，我们开始编译吧~
ambari 2.7.6源码编译
shuergang1的博客
05-19 1381
ambari 2.7.6源码编译，需要联网下载文件，所以您的电脑必须联网，有些内容来源于网络整理，按照如下步骤即可编译成功。 编译环境： Centos7、maven3.6.3、node4.5、jdk1.8 一、环境准备 1、下载node、maven、jdk [root@slave2 ~]#wget https://nodejs.org/dist/v4.5.0/node-v4.5.0-linux-x64.tar.gz [root@slave2 ~]#wget https://arch...
【Ambari编译】打包需要的多版本gcc环境
最新发布
TTBIGDATA的博客
09-17 1030
🔧 使用 Software Collections (SCL) 来安装较新版本的。代理的 yum 源为阿里云。需要做的是,加入scl源即可,安装。⚙️ 启用仓库后，安装高版本。
Ambari编译
qq_52337172的博客
12-29 365
cloudera manager 再无社区版 hadoop hdp不再更改 ，纪念一下失去的青春 1.1 环境搭建 jdk1.8.0_161 apache-maven-3.5.3 CentOS 7.4.1708 1 2 3 1.2 JDK、Maven安装 [root@localhost java]# cat /etc/centos-release CentOS Linux release 7.4.1708 (Core) [root@localhost java]# java -version java ve
ambari 2.7.6 centos7编译后rpm包下载
02-15
ambari-server-2.7.6.0-0.x86_64.rpm ambari-agent-2.7.6.0-0.x86_64.rpm 1.Ambari绝唱版！通过官网 Installation Guide for Ambari 2.7.6 创建的自编译rpm包 2.编译耗时近一周，依赖356+，大文件可以手动下载下来，修改pom，其他大部分依赖都需要翻墙，速度奇慢。。。自编译的话要想办法提高网速。。。磨刀不误砍柴工。。 3. 编译过程中手动下载大文件1G，其他小jar包依赖1G，共下载2G依赖。 4. 踩坑次数没有30也有20，一半左右是编译需要的工具缺失和依赖jar包下载失败手动下载的问题。。。。1次收费1元。。。?? 5. [INFO] ---------------------------------------------------------------------- [INFO] BUILD SUCCESS [INFO] ----------------------------------------------------------------------
Ambari系列（二）：编译安装Ambari
12-27 5875
Ambari是目前最优秀的hadoop集群管理工具，并且是ASF下的开源产品。基于Ambari搭建自己的企业集群，或者做二次开发是一个不错的解决思路。编译Ambari是实现您的hadoop集群方案的第一步。
Ambari2.7.6+HDP3.3.1 离线安装网盘下载地址
11-05
支持x86_64和ARM64(aarch64)
apache-ambari-2.7.6-src.tar.gz
11-17
2. **获取源码**：通过命令行工具克隆或下载Ambari 2.7.6的源代码到本地。 3. **编译与构建**：使用Maven进行编译，执行`mvn clean install`命令。这个过程会生成可部署的Ambari服务器和代理程序。 4. **配置与...
hdp3.2.1.0-001(Ambari2.7.6+hadoop3.2.4)arm版本
09-14
集成了hadoop3.2.4，hive3.1.3, spark3.2.1，kyuubi，ozone等组件，完全基于Apache版本使用Ambari2.7.6进行集成，支持centos系的国产操作系统，例如红旗等。同时支持x86和aarch64两种cpu架构，满足国产化改造的需要...
两年了，ambari终于发布了2.7.6新版本
从大数据到人工智能的博客
12-04 2241
2021/11/16，ambari终于推出了2.7.6版本，该版本相对2.7.5版本以来，共有26个contributors提交了114个commits以及修改了557个文件。 该版本主要修复了： Spring组件的安全漏洞（AMBARI-25571. Vulnerable Spring components in Ambari - CVE-2020-5398, CVE-2020-5421） 升级Grafana以修复相关漏洞（AMBARI-25547 Update Grafana version t
Ambari架构源码解析
热门推荐
程裕强的专栏
03-09 1万+
1.Ambari介绍Ambari是hadoop分布式集群配置管理工具，是由hortonworks主导的开源项目。它已经成为apache基金会的孵化器项目，已经成为hadoop运维系统中的得力助手，引起了业界和学术界的关注。1.1 基本概念参考http://blog.csdn.net/j2eelamp/article/details/25416943 1. Resource：Ambari把可以被管理
ambari 本地源
03-10
ambari-2.2.2.0-centos7.tar.gz HDP-2.4.0.0-centos7-rpm.tar.gz HDP-2.4.2.0-centos7-rpm.tar.gz HDP-UTILS-1.1.0.20-centos7.tar.gz
HDP集成环境配置工具ambari2.7含源码
07-25
HDP集成环境配置工具ambari2.7含源码，Web操作界面，简单实用。
ambari编译环境搭建
07-10
对ambari编译环境的搭建进行详解 ,和搭建时遇到的问题的解决方案
ambari 2.7.6 源码编译 记录流程
静下心来，感受技术的魅力。
01-08 1066
上最终结果图参考了很多文章，归纳总结了自己成功的过程。
ambari代码编译
zax_java的博客
07-31 1032
解决办法就是：将 HDP 3.0 和 3.1 目录拷贝到 ambari-server 的源码里面，具体路径：./ambari-server/src/main/resources/stacks/HDP/ 下，这样后面在编译过程中，就会把这俩目录打到ambari-server.rpm包里面了。然后第二步就是通过 mvn 命令，将 ambari 各模块源码编译，最终得到各自的 rpm 包，类似 hortonworks 官方提供的 ambari 相关 rpm 包。确保你的系统时间和日期是正确的。
ambari 2.7.6源码编译指南
从大数据到人工智能的博客
12-19 2099
编译环境与基本软件安装 centos 7.6 maven 3.6.3 由于编译相关jar包较难下载，所以本文提供仅用于ambari编译的maven repository，将该repository替换原.m2/repository目录即可。 repository.tar.gz 提取密码：ambari 软件安装 yum install -y wget git psutils python-devel rpm-build java-1.8.0-openjdk-devel 搭建http服务 yum insta
Apache Ambari 2.7.6源码解读与编译指南
Ambari源码包apache-ambari-2.7.6-src.tar.gz包含了Ambari项目的所有源代码，允许开发者从原始代码层次理解和修改Ambari的功能。通过编译源码，用户可以获得一个定制化的Ambari安装包，以满足特定的业务需求和环境...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

create17

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值