使用Apache Bigtop编译打包开源大数据组件——以zk、hadoop、spark、hive为例

本文介绍了一种使用Apache Bigtop工具在CentOS 7.8上打包大数据组件的方法。通过在阿里云服务器上安装Docker并运行特定的Bigtop镜像,实现了包括Zookeeper、Hadoop、Spark和Hive等大数据组件的自动化编译与打包。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

Apache Bigtop是一个编译、打包、部署开源大数据组件的工具,经过我多方实验,现在将可靠的 Bigtop打包大数据组件的过程与方法写在这里

1. 申请一个虚拟机。我这里用的是阿里云的服务器,centos7.8,建议镜像在印度、硅谷等地区,不建议选国内的

2.登入虚拟机或是服务器,安装docker,用下面的命令安装

curl -fsSL https://get.docker.com | bash -s docker

3.拉取bigtop/slaves的镜像,选取跟自己虚拟机或服务器所契合的版本。具体选择可在下面网址进行:https://hub.docker.com/r/bigtop/slaves/tags?page=1&ordering=last_updated

我选取的是版本是trunk-centos-7

docker pull bigtop/slaves:trunk-centos-7

4. 交互式运行容器 

docker run -it bigtop/slaves:trunk-centos-7 /bin/bash

5. 执行下面的命令

cd ~ && git clone https://github.com/apache/bigtop.git \
    && cd bigtop && ./gradle zookeeper-rpm hadoop-rpm spark-rpm hive-rpm

然后就可以忙其他事情了,因为这个打包过程会十分漫长,一般需要两三个小时。等你喝杯茶,吃完饭过来,看到打包完毕,我们可以查看一下打包的效果

其他组件也看看,打包都完毕之后,就可以把这个docker 容器提交为一个新镜像 ,方便下次使用

记住这个id,然后退出这个容器

exit

根据这个容器id,进行commit,名字、版本请自己定义,我这里定义的是bigtop:v1

docker commit -m 'bigtop编译大数据组件' 6d06fcc4a634 bigtop:v1

最后,命令运行完毕之后,我们来确认一下,有没有新的镜像有没有形成

至此,bigtop打包大数据组件的工作已经完成了

评论 5
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值