Ambari编译

最新推荐文章于 2023-09-18 14:27:38 发布
最新推荐文章于 2023-09-18 14:27:38 发布
阅读量548 收藏
点赞数
分类专栏： 大数据运维 hadoop 平台
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wangjunji34478/article/details/111713021
版权

cloudera manager 再无社区版

hadoop hdp不再更改 ，纪念一下失去的青春

1.1 环境搭建

jdk1.8.0_161
apache-maven-3.5.3
CentOS 7.4.1708

1.2 JDK、Maven安装

[root@localhost java]# cat /etc/centos-release
CentOS Linux release 7.4.1708 (Core)
[root@localhost java]# java -version
java version "1.8.0_161"
Java(TM) SE Runtime Environment (build 1.8.0_161-b12)
Java HotSpot(TM) 64-Bit Server VM (build 25.161-b12, mixed mode)
[root@localhost java]# mvn -v
Apache Maven 3.5.3 (3383c37e1f9e9b3bc3df5050c29c8aff9f295297; 2018-02-24T14:49:05-05:00)
Maven home: /usr/java/apache-maven-3.5.3
Java version: 1.8.0_161, vendor: Oracle Corporation
Java home: /usr/java/jdk1.8.0_161/jre
Default locale: en_US, platform encoding: UTF-8
OS name: "linux", version: "3.10.0-693.el7.x86_64", arch: "amd64", family: "unix"
[root@localhost java]#

备注：安装完Maven之后，最好将镜像仓库改成阿里的镜像仓库，速度较快！

推荐Maven的settings镜像配置：

<mirror>
    <id>alimaven</id>
    <name>aliyun maven</name>
    <url>http://maven.aliyun.com/nexus/content/groups/public/</url>
    <mirrorOf>central</mirrorOf>
</mirror>
<mirror>
    <id>ui</id>
    <name>Mirror from UK</name>
    <url>http://uk.maven.org/maven2/</url>
    <mirrorOf>central</mirrorOf>
</mirror>
<mirror>
    <id>jboss-public-repository-group</id>
    <name>JBoss Public Repository Group</name>
    <url>http://repository.jboss.org/nexus/content/groups/public</url>
    <mirrorOf>central</mirrorOf>
</mirror>
<mirror>
    <id>repo2</id>
    <name>Mirror from Maven Repo2</name>
    <url>http://repo2.maven.org/maven2/</url>
    <mirrorOf>central</mirrorOf>
</mirror>

1.3 安装rpm-build

yum install rpm-build

1.4 安装gcc&gcc-c++

yum install gcc gcc-c++

1.5 安装Git

yum install git

1.6 安装NodeJS

# 下载、编译安装、验证安装
$ wget http://nodejs.org/dist/v0.10.44/node-v0.10.44.tar.gz
$ tar zxf node-v0.10.44.tar.gz
$ cd node-v0.10.44
$ ./configure && make && sudo make install
$ node -v
# 安装插件
$ npm install -g brunch@1.7.20
$ npm install -g phantomjs@1.9.20
$ npm install -g bower
$ npm install -g gulp

1.7 安装Python2.6

$ wget https://www.python.org/ftp/python/2.6.9/Python-2.6.9.tar.xz
$ tar -Jvf Python-2.6.9.tar.xz
$ cd Python-2.6.9
$ ./configure
$ make
$ make install
$ ln -s /usr/local/bin/python2.6 /usr/bin/python2.6
$ ln -s /usr/local/bin/python2.6-config /usr/bin/python2.6-config

1.8 安装python-devel

yum install python-devel

1.9 安装python setuptools

$ wget https://pypi.python.org/packages/25/5d/cc55d39ac39383dd6e04ae80501b9af3cc455be64740ad68a4e12ec81b00/setuptools-0.6c11-py2.7.egg#md5=fe1f997bc722265116870bc7919059ea
$ wget http://pypi.python.org/packages/2.6/s/setuptools/setuptools-0.6c11-py2.6.egg#md5=bfa92100bd772d5a213eedd356d64086
$ sh setuptools-0.6c11-py2.7.egg
$ sh setuptools-0.6c11-py2.6.egg

1.10 下载大文件，修改pom.xml

有些包比较大，或者编译时下载时间较长，可以提前下载到本地目录，再修改pom.xml文件指定到本地目录，比如在Ambari2.7.3中，我提前下载好的文件为：

grafana-2.6.0.linux-x64.tar.gz
hadoop-3.1.0.3.0.0.0-1634.tar.gz
hbase-2.0.0.3.0.0.0-1634-bin.tar.gz
phoenix-5.0.0.3.0.0.0-1634.tar.gz

关于这几个文件的下载地址，可以在pom.xml中查看！！！

修改ambari-metrics下的pom.xml内容为：

<properties>
  <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
  <python.ver>python &gt;= 2.6</python.ver>
  <deb.python.ver>python (&gt;= 2.6)</deb.python.ver>
  <!-- 将相关内容替换为本地的地址 -->
  <hbase.tar>file:///opt/ambari-download/hbase-2.0.0.3.0.0.0-1634-bin.tar.gz</hbase.tar>
  <hbase.folder>hbase-2.0.0.3.0.0.0-1634</hbase.folder>
  <hadoop.tar>file:///opt/ambari-download/hadoop-3.1.0.3.0.0.0-1634.tar.gz</hadoop.tar>
  <hadoop.folder>hadoop-3.1.0.3.0.0.0-1634</hadoop.folder>
  <grafana.folder>grafana-2.6.0</grafana.folder>
  <grafana.tar>file:///opt/ambari-download/grafana-2.6.0.linux-x64.tar.gz</grafana.tar>
  <phoenix.tar>file:///opt/ambari-download/phoenix-5.0.0.3.0.0.0-1634.tar.gz</phoenix.tar>
  <phoenix.folder>phoenix-5.0.0.3.0.0.0-1634</phoenix.folder>
  <!-- 从下面这句可以看出编译过程中应该需要Python2.6 -->
  <resmonitor.install.dir>/usr/lib/python2.6/site-packages/resource_monitoring</resmonitor.install.dir>
  <powermock.version>1.6.2</powermock.version>
  <distMgmtSnapshotsId>apache.snapshots.https</distMgmtSnapshotsId>
  <distMgmtSnapshotsName>Apache Development Snapshot Repository</distMgmtSnapshotsName>
  <distMgmtSnapshotsUrl>https://repository.apache.org/content/repositories/snapshots</distMgmtSnapshotsUrl>
  <distMgmtStagingId>apache.staging.https</distMgmtStagingId>
  <distMgmtStagingName>Apache Release Distribution Repository</distMgmtStagingName>
  <distMgmtStagingUrl>https://repository.apache.org/service/local/staging/deploy/maven2</distMgmtStagingUrl>
  <fasterxml.jackson.version>2.9.5</fasterxml.jackson.version>
</properties>

1.11 执行编译

$ cd apache-ambari-2.7.3-src
$ mvn versions:set -DnewVersion=2.7.3.0.0
$ pushd ambari-metrics
$ mvn versions:set -DnewVersion=2.7.3.0.0
$ popd
$ mvn -B clean install rpm:rpm -DnewVersion=2.7.3.0.0 -DbuildNumber=4295bb16c439cbc8fb0e7362f19768dde1477868 -DskipTests -Dpython.ver="python >= 2.6" -Drat.skip=true

1.12 编译遇到的问题集锦

1.12.1 问题一

编译到某一个地方，常常会卡住，直接终止，重新执行编译命令即可，另外，如果编译失败也可以用这种方式，如果两次三次不生效，且报错一致，那么就根据报错进行排错。

1.13 编译成功的标志

[INFO] ------------------------------------------------------------------------
[INFO] Reactor Summary:
[INFO]
[INFO] Ambari Main 2.7.3.0.0 .............................. SUCCESS [  3.442 s]
[INFO] Apache Ambari Project POM .......................... SUCCESS [  0.096 s]
[INFO] Ambari Web ......................................... SUCCESS [ 51.557 s]
[INFO] Ambari Views ....................................... SUCCESS [  2.089 s]
[INFO] Ambari Admin View .................................. SUCCESS [  5.611 s]
[INFO] ambari-utility 1.0.0.0-SNAPSHOT .................... SUCCESS [  2.837 s]
[INFO] ambari-metrics ..................................... SUCCESS [  0.701 s]
[INFO] Ambari Metrics Common .............................. SUCCESS [ 10.591 s]
[INFO] Ambari Metrics Hadoop Sink ......................... SUCCESS [  5.419 s]
[INFO] Ambari Metrics Flume Sink .......................... SUCCESS [  2.393 s]
[INFO] Ambari Metrics Kafka Sink .......................... SUCCESS [  2.123 s]
[INFO] Ambari Metrics Storm Sink .......................... SUCCESS [  4.527 s]
[INFO] Ambari Metrics Storm Sink (Legacy) ................. SUCCESS [  3.932 s]
[INFO] Ambari Metrics Collector ........................... SUCCESS [02:41 min]
[INFO] Ambari Metrics Monitor ............................. SUCCESS [  1.275 s]
[INFO] Ambari Metrics Grafana 2.1.0.0.0 ................... SUCCESS [  0.939 s]
[INFO] Ambari Metrics Host Aggregator ..................... SUCCESS [  5.329 s]
[INFO] Ambari Metrics Assembly ............................ SUCCESS [01:30 min]
[INFO] Ambari Service Advisor 1.0.0.0-SNAPSHOT ............ SUCCESS [  0.486 s]
[INFO] Ambari Server ...................................... SUCCESS [30:42 min]
[INFO] Ambari Functional Tests ............................ SUCCESS [  0.994 s]
[INFO] Ambari Agent ....................................... SUCCESS [02:58 min]
[INFO] ambari-logsearch ................................... SUCCESS [  1.581 s]
[INFO] Ambari Logsearch Appender .......................... SUCCESS [ 14.171 s]
[INFO] Ambari Logsearch Config Api ........................ SUCCESS [  0.299 s]
[INFO] Ambari Logsearch Config JSON ....................... SUCCESS [  0.289 s]
[INFO] Ambari Logsearch Config Solr ....................... SUCCESS [ 14.207 s]
[INFO] Ambari Logsearch Config Zookeeper .................. SUCCESS [  1.067 s]
[INFO] Ambari Logsearch Config Local ...................... SUCCESS [  0.127 s]
[INFO] Ambari Logsearch Log Feeder Plugin Api ............. SUCCESS [ 10.531 s]
[INFO] Ambari Logsearch Log Feeder Container Registry ..... SUCCESS [  8.680 s]
[INFO] Ambari Logsearch Log Feeder ........................ SUCCESS [ 59.983 s]
[INFO] Ambari Logsearch Web ............................... SUCCESS [03:41 min]
[INFO] Ambari Logsearch Server ............................ SUCCESS [03:03 min]
[INFO] Ambari Logsearch Assembly .......................... SUCCESS [  5.146 s]
[INFO] Ambari Logsearch Integration Test .................. SUCCESS [01:11 min]
[INFO] ambari-infra ....................................... SUCCESS [ 12.123 s]
[INFO] Ambari Infra Solr Client ........................... SUCCESS [ 12.837 s]
[INFO] Ambari Infra Solr Plugin ........................... SUCCESS [02:18 min]
[INFO] Ambari Infra Manager ............................... SUCCESS [01:51 min]
[INFO] Ambari Infra Assembly .............................. SUCCESS [ 11.453 s]
[INFO] Ambari Infra Manager Integration Tests 2.7.3.0.0 ... SUCCESS [ 16.413 s]
[INFO] ------------------------------------------------------------------------
[INFO] BUILD SUCCESS
[INFO] ------------------------------------------------------------------------
[INFO] Total time: 54:34 min
[INFO] Finished at: 2019-04-16T22:54:37-04:00
[INFO] ------------------------------------------------------------------------
半_调_子
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
ambari 2.7.7 centos7编译后rpm包下载
04-18
ambari-server-2.7.7.0-0.x86_64.rpm ambari-agent-2.7.7.0-0.x86_64.rpm 1、通过官网 Installation Guide for Ambari 2.7.7 创建的自编译rpm包 2、排查了很多编译错误，缺失老包依赖包下载。
Ambari源码编译、安装（包括异常处理）
m0_51205511的博客
12-10 5884
本篇文章以实践做记录总结在Redhat上编译、安装 ambari-2.7.4 源码以及安装服务的全部过程，文章基本是涵盖了所有步骤，可依据此文章逐步编译、安装成功。
Ambari 编译
记录点点滴滴
04-17 652
由于编译相关 jar 包较难下载，所以提供仅用于 ambari 编译的 maven repository，将该 repository 替换放在。这里一直有问题 ， 要使用秘密武器就可以了，我用的 clash , 大家百度使用。界面访问: http://ip:port(默认8080) 查看效果。界面访问: http://ip:port(默认8080) 查看效果。添加 HDP3.1 配置文件 ， 把 .txt 去掉在解压。全局安装 gulp、bower。放到 http 服务的。安装bower的依赖包。
Ambari2.7整体编译+安装使用
CREATE_17的博客
11-12 4646
最近Ambari发布了新版本——v2.7.1，支持HDP_3.0.1版本，较Ambari2.6相比，最直观的感觉就是Web UI有了很大的改变，更加的美观；支持的hadoop相关组件，也是较新的版本；同时也增加了很多新特性等等，好处多多，首先来了解一下整体编译，毕竟整体编译过了，才能进行二次开发 一、获取Ambari2.7.1源码 wget http://www.apache.org/dist...
Ambari 2.7.7源码编译
m0_46194428的博客
12-14 1742
ambari 2.7.7 源码编译
ambari2.8.0与bigtop编译与制作镜像源
最新发布
qq_42896460的博客
09-18 769
ambari2.8.0与bigtop3.2.0的编译安装使用
ambari编译环境搭建
07-10
以下是搭建Ambari编译环境的详细步骤及可能遇到的问题及其解决方案： 1. **安装JDK** 首先，确保系统中安装了Java Development Kit（JDK），推荐使用JDK 1.7版本。JDK是Java编程的基础，对于Ambari的编译至关重要...
ambari 2.7.5 安装包下载
07-05
该资源为Ambari2.7.5预编译安装包，资源已放到百度网盘，可以先下载《ambari预编译安装包网盘下载地址.txt》获取网盘地址进行下载，资源内容：ambari-2.7.5.0-centos7.tar.gz 如有其他ambari相关资源需求可私信我
ambari 2.7.6 centos7编译后rpm包下载
02-15
ambari-server-2.7.6.0-0.x86_64.rpm ambari-agent-2.7.6.0-0.x86_64.rpm 1.Ambari绝唱版！通过官网 Installation Guide for Ambari 2.7.6 创建的自编译rpm包 2.编译耗时近一周，依赖356+，大文件可以手动下载下来，...
大数据Ambari之flume集成编译好的源码包
05-02
**大数据Ambari之flume集成编译好的源码包** Apache Ambari 是一个用于管理和监控Hadoop集群的开源工具，它提供了直观的Web界面和RESTful API，使得安装、配置、管理Hadoop生态系统变得更加简单。Flume是Apache的一...
Ambari 2.7.3版本编译报错各问题解决-附件资源
03-02
Ambari 2.7.3版本编译报错各问题解决-附件资源
ambari 2.5.0源码编译安装
weixin_30432579的博客
05-22 451
参考：https://www.ibm.com/developerworks/cn/opensource/os-cn-bigdata-ambari/index.html Ambari 是什么 Ambari 的作用来就是创建、管理、监视 Hadoop 集群，但是这里的 Hadoop 是广义，指的是 Hadoop 整个生态圈（例如 Hive，Hbase，Sqoop，Zookeeper 等），而并不仅...
Ambari2.7.4+HDP3.1.4在centos7.6部署
五哥的酒馆
03-26 1180
一.下载安装包使用在线安装特别慢，所有的安装包加起来有9个G左右，所以需要先下载相关安装包到服务器，通过配置本地源的方式来实现的离线安装。在私有集群中部署时，客户机房的网络情况不可预测，因此也需要使用离线部署的方式。根据官方文档https://docs.cloudera.com/HDPDocuments/Ambari-2.7.4.0/bk_ambari-installation/cont...
ambari2.8.0+bigtop3.2.0发行版大数据平台编译指南
m0_48319997的博客
04-09 5586
ambari和bigtop联合的第一个发行版终于出来了！！！这是在HDP、CDH大数据平台闭源后的第一个开源免费发行版的大数据平台。下面为大家详细介绍Centos7下的编译方法。
玩转Ambari之二----基于ubuntu的源码编译和安装
wqhlmark64的博客
10-13 4595
网上关于ambari安装的有很多，有直接从现成的源直接下载安装的，也有自己构建本地源安装的，还有不少自己从apache网站下载源码编译安装的。前两者相对简单，依赖小，期间遇到问题也少，顺利的话，可能什么问题都碰不到就完成了。后者会遇到各种不同的问题。apache网上公布的最新版本是２.５.２,鉴于网上能搜到的基于源码安装帖子的版本都较老，并且很多都是基于centos的，基于Ubuntu的很少。我们
编译安装Ambari2.5.0
zyj8170的专栏
05-23 2922
1.需要安装的工具 1.1     安装JDK  推荐1.8 1.2     安装Apache Maven 3.3.9 设置环境变量 # vi /etc/profile export MAVEN_HOME="/opt/maven" export path=$path: $MAVEN_HOME/bin 1.3     安装rpmbuild 1）检测rpm-
Ambari系列（二）：编译安装Ambari
12-27 5789
Ambari是目前最优秀的hadoop集群管理工具，并且是ASF下的开源产品。基于Ambari搭建自己的企业集群，或者做二次开发是一个不错的解决思路。编译Ambari是实现您的hadoop集群方案的第一步。
Ambari 源码编译及编译问题的解决
liushuainudt的博客
11-16 828
Ambari 源码编译及编译问题的解决 编译 想要编译最新的代码，则直接参考官网的教程即可：主要有一下命令(以版本2.7.1为例)： wget http://www.apache.org/dist/ambari/ambari-2.7.1/apache-ambari-2.7.1-src.tar.gz (use the suggested mirror from above) tar xfvz apa...
ambari源码编译安装
05-25
Ambari是一个开源的集群管理工具，它可以用于管理Hadoop和Hadoop生态系统中的其他组件。下面是关于如何在Linux系统上从源码编译和安装Ambari的步骤： 1. 安装编译工具和依赖项 首先需要安装一些编译工具和依赖项，以便编译Ambari。使用以下命令安装这些工具和依赖项： ``` sudo apt-get install git maven rpm createrepo ``` 2. 下载Ambari源代码 使用以下命令从Github上下载Ambari源代码： ``` git clone https://github.com/apache/ambari.git ``` 3. 切换到特定的版本 如果您想要安装特定版本的Ambari，可以切换到该版本的分支。使用以下命令切换到Ambari 2.7.5分支： ``` cd ambari git checkout branch-2.7.5 ``` 4. 编译Ambari 进入ambari-server目录，使用以下命令编译Ambari： ``` cd ambari-server mvn versions:set -DnewVersion=2.7.5.0.0 mvn clean install -PskipTests ``` 该操作将会花费几分钟的时间来编译和构建Ambari。 5. 安装Ambari 编译完成后，进入ambari-server/target目录。在这个目录中你将会看到一个名为ambari-server-2.7.5.0.0.tar.gz的文件。解压缩该文件并安装Ambari： ``` tar -xvf ambari-server-2.7.5.0.0.tar.gz cd ambari-server-2.7.5.0.0 sudo ./setup.sh ``` 该操作将会安装Ambari并启动Ambari Server。 6. 访问Ambari Web控制台 安装完成后，您可以通过在Web浏览器中输入Ambari Server的IP地址和端口来访问Ambari Web控制台。 ``` http://your_server_ip:8080 ``` 现在您可以使用Ambari管理Hadoop和其他Hadoop生态系统组件了。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值