Ambari系列1：Ambari 2.7.4 和HDP 3.1.4 离线安装

已于 2023-09-12 15:34:50 修改
阅读量409 收藏 1
点赞数 1
分类专栏： 大数据平台 文章标签： ambari hadoop 大数据
于 2023-08-14 16:46:48 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/shangjg03/article/details/132279327
版权

1.安装前准备

1.1配置jdk环境变量

# jdk setting
export JAVA_HOME=/data/base/jdk1.8.0_211
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib:$JRE_HOME/lib
export PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin

1.2 yum更换阿里云源

# curl -o /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo
#清理缓存
# yum clean all
#生成新的缓存
# yum makecache

1.3配置时钟同步

yum -y install ntpdate
ntpdate -u ntp.aliyun.com
# 配置定时任务
vi /etc/crontab
*/10 * * * * /usr/sbin/ntpdate ntp.aliyun.com

1.4 关闭selinux

selinux的主要作用就是最大限度地减小系统中服务进程可访问的资源（最小权限原则）

 vim /etc/sysconfig/selinux

# SELINUX=enforcing
SELINUX=disabled

1.5 关闭 THP (Transparent Huge Page)

THP的目的是通过将页表项映射更大的内存，来减少 Page Fault，从而提升 TLB （Translation Lookaside Buffer，由存储器管理单元用于改进虚拟地址到物理地址的转译速度）的命中率。结合存储器层次结构设计原理可知，当程序的访存局部性较好时，THP 将带来性能提升，反之 THP 的优势不仅丧失，还有可能化身为恶魔，引起系统的不稳定。查看THP状态

[root@bdp-ambari base]# cat /sys/kernel/mm/transparent_hugepage/defrag
[always] madvise never
[root@bdp-ambari base]# cat /sys/kernel/mm/transparent_hugepage/enabled
[always] madvise never

如果值是always，则修改/etc/rc.d/rc.local 关闭THP

touch /var/lock/subsys/local
if test -f /sys/kernel/mm/transparent_hugepage/enabled; then
	echo never > /sys/kernel/mm/transparent_hugepage/enabled
fi
if test -f /sys/kernel/mm/transparent_hugepage/defrag; then
	echo never > /sys/kernel/mm/transparent_hugepage/defrag
fi

或者直接执行以下操作关闭THP

[root@bdp-ambari base]# echo never > /sys/kernel/mm/transparent_hugepage/enabled
[root@bdp-ambari base]# echo never > /sys/kernel/mm/transparent_hugepage/defrag

1.6 修改文件句柄最大限制（需要重启机器）

vim /etc/security/limits.conf

# End of file

* soft nofile 65536
* hard nofile 65536
* soft nproc 131072
* hard nproc 131072

1.7 配置SSH无密码登录

ssh-keygen -t rsa  # 生成公钥

#将生成的公钥添加到免密登陆keys中(主节点)
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

1.8 安装mysql和数据库创建用户

Mysql系列2：Mysql5.7.42 一键离线安装脚本_shangjg3的博客-CSDN博客

CREATE DATABASE ambari;  
use ambari;  
CREATE USER 'ambari'@'%' IDENTIFIED BY 'ambari';  
GRANT ALL PRIVILEGES ON *.* TO 'ambari'@'%';  
FLUSH PRIVILEGES;  

source /var/lib/ambari-server/resources/Ambari-DDL-MySQL-CREATE.sql  
show tables;  
use mysql;  
select Host,User from user where user='ambari';  
CREATE DATABASE hive;  
use hive;  
CREATE USER 'hive'@'%' IDENTIFIED BY 'hive';  
GRANT ALL PRIVILEGES ON *.* TO 'hive'@'%';  

FLUSH PRIVILEGES;  
CREATE DATABASE oozie;  
use oozie;  
CREATE USER 'oozie'@'%' IDENTIFIED BY 'oozie';  
GRANT ALL PRIVILEGES ON *.* TO 'oozie'@'%';  
FLUSH PRIVILEGES;

1.9 关闭防火墙

systemctl stop firewalld
systemctl disable firewalld

2.修改yum源，实现离线安装

2.1安装httpd

[root@bdp-ambari data]# yum -y install httpd
[root@bdp-ambari data]# service httpd restart
Redirecting to /bin/systemctl restart httpd.service
[root@bdp-ambari data]# chkconfig httpd on

2.2 部署ambari文件目录

安装完成后会生成/var/www/html 目录，在此目录下创建ambari目录，并将以下三个文件上传到ambari目录

cd /var/www/html
mkdir  ambari
ambari-2.7.4.0-centos7.tar.gz  
HDP-3.1.4.0-centos7-rpm.tar.gz  
HDP-UTILS-1.1.0.22-centos7.tar.gz

解压文件

mkdir HDP-UTILS
tar -zxvf ambari-2.7.4.0-centos7.tar.gz
tar -zxvf HDP-3.1.4.0-centos7-rpm.tar.gz 
tar -zxvf HDP-UTILS-1.1.0.22-centos7.tar.gz -C HDP-UTILS
rm -f *.gz

浏览器输入地址：http://10.16.60.81/ambari/

2.3 制作本地yum源

vim ambari/centos7/2.7.4.0-118/ambari.repo

#VERSION_NUMBER=2.7.4.0
[ambari-2.7.4.0]
#json.url = http://public-repo-1.hortonworks.com/HDP/hdp_urlinfo.json
name=ambari Version - ambari-2.7.4.0
baseurl=http://10.16.60.81/ambari/ambari/centos7/2.7.4.0-118
gpgcheck=1
gpgkey=http://10.16.60.81/ambari/ambari/centos7/2.7.4.0-118/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1

cp ambari/centos7/2.7.4.0-118/ambari.repo /etc/yum.repos.d/

vim /var/www/html/ambari/HDP/centos7/3.1.4.0-315/hdp.repo

[HDP-3.1]
name=HDP Version - HDP-3.1
baseurl=http://10.16.60.81/ambari/HDP/centos7/3.1.4.0-315
gpgcheck=1
gpgkey=http://10.16.60.81/ambari/HDP/centos7/3.1.4.0-315/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1


[HDP-UTILS-1.1]
name=HDP-UTILS Version - HDP-UTILS-1.1
baseurl=http://10.16.60.81/ambari/HDP-UTILS/HDP-UTILS/centos7/1.1.0.22
gpgcheck=1
gpgkey=http://10.16.60.81/ambari/HDP-UTILS/HDP-UTILS/centos7/1.1.0.22/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1

cp HDP/centos7/3.1.4.0-315/hdp.repo /etc/yum.repos.d/

创建ambari和hdp的yum元数据缓存

yum clean all
yum makecache
yum repolist

/usr/bin/yum list available --showduplicates --disablerepo=* --enablerepo=HDP-3.1

3.安装ambari-server

3.1安装ambari-server

yum -y install ambari-server

3.2配置ambari-server

ambari-server setup

[root@bdp-ambari ambari]# ambari-server setup
Using python  /usr/bin/python
Setup ambari-server
Checking SELinux...
SELinux status is 'disabled'
Customize user account for ambari-server daemon [y/n] (n)? n
Adjusting ambari-server permissions and ownership...
Checking firewall status...
Checking JDK...
[1] Oracle JDK 1.8 + Java Cryptography Extension (JCE) Policy Files 8
[2] Custom JDK
==============================================================================
Enter choice (1): 2
WARNING: JDK must be installed on all hosts and JAVA_HOME must be valid on all hosts.
WARNING: JCE Policy files are required for configuring Kerberos security. If you plan to use Kerberos,please make sure JCE Unlimited Strength Jurisdiction Policy Files are valid on all hosts.
Path to JAVA_HOME: /data/base/jdk1.8.0_211
Validating JDK on Ambari Server...done.
Check JDK version for Ambari Server...
JDK version found: 8
Minimum JDK version is 8 for Ambari. Skipping to setup different JDK for Ambari Server.
Checking GPL software agreement...
GPL License for LZO: https://www.gnu.org/licenses/old-licenses/gpl-2.0.en.html
Enable Ambari Server to download and install GPL Licensed LZO packages [y/n] (n)? n
Completing setup...
Configuring database...
Enter advanced database configuration [y/n] (n)? n
Configuring database...
Default properties detected. Using built-in database.
Configuring ambari database...
Checking PostgreSQL...
Running initdb: This may take up to a minute.
Initializing database ... OK


About to start PostgreSQL
Configuring local database...
Configuring PostgreSQL...
Restarting PostgreSQL
Creating schema and user...
done.
Creating tables...
done.
Extracting system views...
ambari-admin-2.7.4.0.118.jar
....
Ambari repo file contains latest json url http://public-repo-1.hortonworks.com/HDP/hdp_urlinfo.json, updating stacks repoinfos with it...
Adjusting ambari-server permissions and ownership...
Ambari Server 'setup' completed successfully.

使用mysql数据库

[root@amaster resources]# ambari-server setup
Using python  /usr/bin/python
Setup ambari-server
Checking SELinux...
SELinux status is 'disabled'
Customize user account for ambari-server daemon [y/n] (n)? n^H^H^H
input not recognized, please try again: 
Customize user account for ambari-server daemon [y/n] (n)? y
Enter user account for ambari-server daemon (root):ambari
Adjusting ambari-server permissions and ownership...
Checking firewall status...
Checking JDK...
[1] Oracle JDK 1.8 + Java Cryptography Extension (JCE) Policy Files 8
[2] Custom JDK
==============================================================================
Enter choice (1): 2
WARNING: JDK must be installed on all hosts and JAVA_HOME must be valid on all hosts.
WARNING: JCE Policy files are required for configuring Kerberos security. If you plan to use Kerberos,please make sure JCE Unlimited Strength Jurisdiction Policy Files are valid on all hosts.
Path to JAVA_HOME: /data/base/jdk1.8.0_211
Validating JDK on Ambari Server...done.
Check JDK version for Ambari Server...
JDK version found: 8
Minimum JDK version is 8 for Ambari. Skipping to setup different JDK for Ambari Server.
Checking GPL software agreement...
GPL License for LZO: https://www.gnu.org/licenses/old-licenses/gpl-2.0.en.html
Enable Ambari Server to download and install GPL Licensed LZO packages [y/n] (n)? n
Completing setup...
Configuring database...
Enter advanced database configuration [y/n] (n)? y
Configuring database...
==============================================================================
Choose one of the following options:
[1] - PostgreSQL (Embedded)
[2] - Oracle
[3] - MySQL / MariaDB
[4] - PostgreSQL
[5] - Microsoft SQL Server (Tech Preview)
[6] - SQL Anywhere
[7] - BDB
==============================================================================
Enter choice (1): 3
Hostname (localhost): 
Port (3306): 
Database name (ambari): 
Username (ambari): 
Enter Database Password (bigdata): 
Re-enter password: 
Configuring ambari database...
Configuring remote database connection properties...
WARNING: Before starting Ambari Server, you must run the following DDL directly from the database shell to create the schema: /var/lib/ambari-server/resources/Ambari-DDL-MySQL-CREATE.sql
Proceed with configuring remote database connection properties [y/n] (y)? y
Extracting system views...
ambari-admin-2.7.4.0.118.jar
....
Ambari repo file contains latest json url http://public-repo-1.hortonworks.com/HDP/hdp_urlinfo.json, updating stacks repoinfos with it...
Adjusting ambari-server permissions and ownership...
Ambari Server 'setup' completed successfully.

3.3启动ambari-server

[root@bdp-ambari ambari]# ambari-server start
Using python  /usr/bin/python
Starting ambari-server
Ambari Server running with administrator privileges.
Organizing resource files at /var/lib/ambari-server/resources...
Ambari database consistency check started...
Server PID at: /var/run/ambari-server/ambari-server.pid
Server out at: /var/log/ambari-server/ambari-server.out
Server log at: /var/log/ambari-server/ambari-server.log
Waiting for server start........................
Server started listening on 8080

DB configs consistency check: no errors and warnings were found.
Ambari Server 'start' completed successfully.

浏览器输入访问地址：http://10.16.60.81:8080/#/login， 可以看到ambari的web登录页面。

输入默认用户名密码：admin/admin登录。

4.安装HDP

4.1选择HDP版本和配置baseUrl

http://10.16.60.81/ambari/HDP/centos7/3.1.4.0-315
http://10.16.60.81/ambari/HDP-UTILS/HDP-UTILS/centos7/1.1.0.22

4.2配置主机

4.3注册主机

4.4选择要安装的服务

4.5分配大数据组件的master服务到集群内的各个主机

4.6分配大数据组件的slave服务或者client到集群内的各个主机

4.7配置各个组件的密码

4.8 配置各个大数据组件的详细信息

配置druid、hvie、oozie、ranger、rangerkms和superset的元数据存储信息，这里使用mysql数据库。

设置mysql driver

[root@bdp data]# ambari-server setup --jdbc-db=mysql --jdbc-driver=/data/base/mysql-conn/mysql-connector-java-5.1.47.jar
Using python  /usr/bin/python
Setup ambari-server
Copying /data/base/mysql-conn/mysql-connector-java-5.1.47.jar to /var/lib/ambari-server/resources/mysql-connector-java-5.1.47.jar
Creating symlink /var/lib/ambari-server/resources/mysql-connector-java-5.1.47.jar to /var/lib/ambari-server/resources/mysql-connector-java.jar
If you are updating existing jdbc driver jar for mysql with mysql-connector-java-5.1.47.jar. Please remove the old driver jar, from all hosts. Restarting services that need the driver, will automatically copy the new jar to the hosts.
JDBC driver was successfully initialized.
Ambari Server 'setup' completed successfully.

4.9配置各个大数据组件的配置信息

 
  
 
  
4.10 配置各个大数据组件的账号信息
 
  
 
  
4.11 配置各个大数据组件的资源配置信息
 
  
 
  
4.12.安装启动成功
 
  
 
 
 


                

        

        

    




            

                    
            

    

      

        

            

              
                
                  shangjg3
                
              
            

            

                关注
              
            

        

        

          
    
            
  • 
              
                
                
                
                
                    1
                
              
              
    点赞
    
            
    • 
            
  • 
              
                
                
                
              
              
    踩
    
            
    • 
            
  • 
              
                
                
                
                
                    1
                
              
              
    
                
    
                  
                    收藏
                  
                
    
              
    
              
    
                
    
                  觉得还不错?
                  
                    一键收藏
                  
                 
                
    
              
    
            
    • 
                
  • 
                  
                    打赏
                    
                  
                  
    打赏
    
                
    • 
          
  • 
            
    
              
              
            
    
              
              
              
                    0
              
            
            
    评论
    
          
    • 
          
  • 
          
    • 
          
  • 
            
              
            
              
    
            
              
                
            
    
          
    • 
        

      

      

            

                专栏目录
          










                



	

		

			

				
					
Ambari 2.7.5+HDP3.1.5离线安装详细教程（附安装包）

				
			

			

				

					QYmufeng的博客
				

				

					02-22
					
					3430
					
				

			

		

		

			
				
一.准备工作


系统：centos7.6（推荐使用：redhat7、redhat-ppc7、ubuntu14、ubuntu16、ubuntu18）

Ambari版本： 2.7.5

HDP版本：3.1.5

主机：

系统
			ip 主机名称 主机名
			内存
			Ambari server
			mysql
			httpd服务
		centos7.6
			192.168.112.143 cluster01.toroidal.comcluster01
			8G
			√
			
			√
.

			
		

	



                

              
                



	

		

			

				
					
ambari 离线安装

					
热门推荐

				
			

			

				

					蘑菇丁的专栏
				

				

					05-25
					
					1万+
					
				

			

		

		

			
				
先明确几个概念：
1. Ambari只能安装Hortonworks Data Platform，即Hortonworks的开源Hadoop，不支持Apach的Hadoop平台；
2. 对于已经安装了Apach Hadoop或者其他Hadoop平台的，不能使用Ambari来管理；
 
再说几个注意事项：
1. Ambari默认的安装方式是使用yum，从远程下载HDP组件安装，而HDP平台安

			
		

	



                


  
              

                


	

		

			

				
					
Ambari离线安装

				
			

			

				

					lordk911的博客
				

				

					08-16
					
					673
					
				

			

		

		

			
				
1 环境准备
本次离线搭建的集群比较简单，由两台CentOS 7主机组成：




主机名


IP地址




server


192.168.2.80




agent1


192.168.2.81




 
1.1 配置主机名
1. 修改server的/etc/sysconfig/network文件如下：
 
CEN

			
		

	





	

		

			

				
					
ambari离线安装

				
			

			

				

					01-29
				

			

		

		

			
				
ambari离线安装教程，详细记录安装的每一个步骤，以及碰到问题的解决方案

			
		

	



		

			
		



	

		

			

				
					
CentOS6、7 局域网离线安装Ambari

				
			

			

				

					cp_panda_5的博客
				

				

					04-18
					
					2275
					
				

			

		

		

			
				
（自己安装多遍，踩过各种坑，终于趟顺了，下面绝对完整版）（安装6、7的步骤一样，只是相关执行命令6、7会有差别）1.1 Ambari       Ambari的作用来说，就是创建、管理、监视 Hadoop的集群。Ambari自身也是一个分布式架构的软件，主要由两部分组成：Ambari Server和 Ambari Agent。简单来说，用户通过Ambari Server通知 Ambari Agen...

			
		

	





	

		

			

				
					
Ambari离线安装环境搭建

				
			

			

				

					fang.lovest.yang的博客
				

				

					08-10
					
					1374
					
				

			

		

		

			
				
参考资料


ntp.conf配置文件详解



			
		

	





	

		

			

				
					
Ambari2.7.4 + HDP3.1.4 离线安装（3）

				
			

			

				

					musicofmaple的博客
				

				

					11-15
					
					4003
					
				

			

		

		

			
				
4.实现离线安装，更换yum源

4.1文件目录展示

4.1.1http服务方式


[root@master ~]# yum -y install httpd
[root@master ~]# service httpd restart
Redirecting to /bin/systemctl restart httpd.service
[root@master ~]# chkconfig httpd on

安装完成后，会生成 /var/www/html目录（相当于Tomcat的webapps...

			
		

	





	

		

			

				
					
Ambari2.7.4 + HDP3.1.4 离线安装（1）

				
			

			

				

					musicofmaple的博客
				

				

					11-13
					
					1698
					
				

			

		

		

			
				
1. 服务地址

笔者准备了5台机器进行安装

172.29.30.61
172.29.30.62
172.29.30.63
172.29.30.64
172.29.30.65

2. Ambari搭建前环境准备

2.1版本介绍

截止到2020.03.03，Ambari的最新版本为2.7.5，HDP的最新版本为3.1.5
通过 https://supportmatrix.hortonworks.com/ 可以查询Ambari和HDP各个版本支持情况

2.2环境搭建

2.2.1所用环境列表


...

			
		

	





	

		

			

				
					
Ambari2.7.4 + HDP3.1.4 离线安装（2）

				
			

			

				

					musicofmaple的博客
				

				

					11-13
					
					2074
					
				

			

		

		

			
				
目录



3.系统环境设置

3.1安装JDK（所有节点）

3.1.1卸载OpenJDK

3.1.2安装JDK

3.2修改节点名称（所有节点）

3.2.1修改/etc/hosts文件（所有节点）

3.2.2修改/etc/sysconfig/network（所有节点）

3.3更新阿里巴巴yum源（所有节点）

3.4同步时间ntp

3.4.1安装ntp服务（所有节点）

3.5关闭防火墙

3.6关闭Selinux和THP（所有节点）

3.6.1关闭Selinux...

			
		

	





	

		

			

				
					
Ambari2.7.4 + HDP3.1.4 离线安装（4）

				
			

			

				

					musicofmaple的博客
				

				

					11-15
					
					2220
					
				

			

		

		

			
				
目录



6.安装配置部署HDP集群

6.1登录过程

6.2安装向导

6.2.1配置集群名字

6.2.2选择版本并修改为本地源地址

6.2.3安装配置

6.2.4确认安装ambari的agent

6.2.5大数据服务组件安装

6.2.6节点分配

6.2.7分配主从

6.2.8安装配置

6.2.9概况部署

7. 集群配置

7.1hive配置更新

7.2Spark配置更新

6.安装配置部署HDP集群

6.1登录过程

如果你以上...

			
		

	





	

		

			

				
					
局域网下安装离线Ambari终结版

				
			

			

				

					10-11
				

			

		

		

			
				
主要是局域网下安装离线Ambari的文档完善，环境基本木有变

			
		

	





	

		

			

				
					
局域网下离线安装Ambari详细说明

				
			

			

				

					03-08
				

			

		

		

			
				
局域网下离线安装Ambari，卸载旧版本数据库，安装新的Mysql，一些组件的验证，详细叙述过程

			
		

	





	

		

			

				
					
局域网下离线安装Ambari

				
			

			

				

					04-13
				

			

		

		

			
				
生产环境下内网环境下ambari集群的安装文档，目前已用于生产环境，本文档为离线安装方式，可线上环境使用！

			
		

	





	

		

			

				
					
ambari离线安装solr所需文件

				
			

			

				

					09-05
				

			

		

		

			
				
解压后可以获得solr.tgz和SOLR-github文件夹，具体使用方法请看我置顶博客
blog.csdn.net/dr_guo

			
		

	





	

		

			

				
					
Ambari2.7.4 HDP-3.1.4(hortonworks集群安装).docx

				
			

			

				

					12-18
				

			

		

		

			
				
Ambari是一个基于web的工具，用于配置、管理和监视Hadoop集群，支持HDFS、MapReduce、Hive、HCatalog,、HBase、ZooKeeper、Kafka、Oozie、Pig、Sqoop和Spark等服务。Ambari同样还提供了集群状况仪表盘，以友好的用户...

			
		

	





	

		

			

				
					
HDP与Ambari安装资源：网盘分享与常见问题解决方案

				
			

			

				

					
				

			

		

		

			
				
"提供Ambari-2.7.4.0和HDP-3.1.4.0的下载地址，以及在大数据集群部署过程中可能遇到的问题和解决方案，涉及HDFS配置、HDP集群问题、SSH密钥格式转换和MySQL安装的GPG验证问题。"  在大数据集群的部署与调优过程中，...

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		评论	
	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  





	
打赏作者

	

		

		
			
		
		

		

			
shangjg3

			
你的鼓励将是我创作的最大动力

		

	

	

			

	

	

    ¥1
    ¥2
    ¥4
    ¥6
    ¥10
    ¥20
	

	

		

			

				

					扫码支付：¥1
				

				

					

					
					获取中
					

				

				

					
					
					扫码支付
				

			

		

		

			
您的余额不足，请更换扫码支付或充值

			
打赏作者

		

	



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值