BigTop3.2.0 大数据组件编译--组件编译

前言

接上篇环境准备,环境准备好以后就可以开始bigtop大数据组件编译了,建议使用科学上网方式,降低网络连接报错,主要网络报错出现在nodejs npm yarn bower等前端资源的下载上。搞定网络问题后,按本文的方式可以完成大数据相关组件的编译,编译后生成的rpm包在output目录中,包含源码rpm和二进制rpm

组件编译

1.下载bigtop源码

git clone https://github.com/apache/bigtop.git

2.修改bigtop.bom配置

修改配置的目的主要为了使用国内镜像源加速

cd bigtop

vi bigtop.bom

第96行 scala version修改成2.12.17

第99行 mirror地址修改成https://repo.huaweicloud.com/apache

第100行 archive地址修改成https://mirrors.aliyun.com/apache

3.编译hadoop

先要安装前置依赖,再编译

#安装前置依赖

yum -y install fuse-devel cmake cmake3 lzo-devel openssl-devel protobuf* cyrus-* 

cp /usr/bin/cmake3 /usr/bin/cmake

#编译

./gradlew hadoop-rpm -PparentDir=/usr/bigtop

4.编译zookeeper

先要安装前置依赖,再编译

#安装前置依赖
yum 
### AmbariBigTop的关系 AmbariBigtop 是两个独立但互补的开源项目。Ambari 主要负责 Hadoop 集群的部署、管理和监控功能[^1],而 Bigtop 则是一个构建和测试 Apache Hadoop 及其生态系统项目的工具集[^2]。 尽管这两个项目并非默认捆绑在一起,但在实际应用中可以将它们结合起来使用以增强集群管理能力。具体来说,在某些情况下可以通过特定版本兼容性的调整来实现两者的集成工作。例如 bigtop3.2.0 并不是所有组件都能适配 ambari, 所需编译的是那些已经确认能够协同工作的模块。 ### Ambari集成BigTop配置教程 为了使 Ambari 能够利用由 Bigtop 构建出来的软件包来进行安装和服务管理操作,通常需要执行如下几个主要步骤: #### 准备阶段 - **获取源码**:下载并解压最新稳定版的 `ambari`、`ambari-metrics` 以及目标版本号下的 `bigtop` 源代码文件。 - **设置环境变量**:确保 Java JDK 已经被正确安装,并且设置了必要的环境路径如 MAVEN_HOME 或 ANT_HOME 等以便后续编译过程顺利进行。 #### 编译阶段 对于每一个单独的项目都需要按照官方文档指导完成各自的编译流程;特别是针对 bigtop 的部分,则应遵循给定的支持列表只选择性地编译可支持于当前使用的 Ambari 版本之上的服务组件。 ```bash # 假设已经在各自目录下切换到了克隆下来的仓库根部 cd /path/to/ambari-source-code/ mvn clean install -DskipTests=true cd /path/to/bigtop-source-code/ ./gradlew distTarball -Pstack=AMBARI_273 -PhadoopVersion=3.1.1 -x test ``` 这里需要注意 `-Pstack`, `-PhadoopVersion` 参数的选择应当依据实际情况作出适当修改。 #### 定制化镜像创建 一旦上述各环节顺利完成之后就可以着手准备制作最终用于分发至各个节点上运行的服务程序集合体——即所谓的“自定义堆栈”。这一步骤涉及到收集之前生成的所有 RPM/DEB 文件并将它们整理成易于传播的形式(比如 ISO 映像或是 yum/apt 存储库)。此外还需要编写相应的元数据描述符告知 Ambari Server 关于此定制资源的位置信息及其内部结构布局情况。 #### 应用部署 当一切就绪后便可以在 Ambari Web UI 中导入新建立起来的蓝本并通过图形界面指引轻松添加新的主机成员直至整个分布式计算平台搭建完毕为止。 ---
评论 10
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值