Ambari的部署与集群的搭建【超详细】
Ambari是hadoop分布式集群配置管理工具,是由hortonworks主导的开源项目。它已经成为apache基金会的孵化器项目,已经成为hadoop运维系统中的得力助手,引起了业界和学术界的关注。
1.ambari 基础架构
2.环境准备
1.必备软件和安装包
版本: Ambari2.75 + HDP3.1.5
需要包的评论留,每天回复快~
yum -y install gcc gcc-c++ kernel-devel libtirpc-devel
yum -y install rpm-build
yum -y install net-tools
yum -y install openssl openssl-devel patch
yum -y install wget
yum install -y bash-completion
yum install -y unzip zip
yum install -y openssh-clients
yum install -y openssh-server
/usr/sbin/sshd -D &
2.内存和盘配置
最低配置为每个节点内存1G,硬盘10G。
建议每个节点内存8G以上,硬盘100G以上。
3.文件限制设置
设置最大打开文件限制
ulimit -n 10000
4.全限定域名FQDN配置
修改host主机名,最好遵循FQDN规范(具体可百度),如下,但是我用的时之前的虚拟机,就直接用原来的了。
vim /etc/hosts
正规写法:
192.168.179.10 hadoop01.com hadoop01(主节点)
192.168.179.11 hadoop02.com hadoop02
192.168.179.12 hadoop03.com hadoop02
我的配置文件:
192.168.179.10 hadoop01(主节点)
192.168.179.11 hadoop02
192.168.179.12 hadoop02
5.免密配置
在配置时不仅要主节点免密到从节点,每个节点自身也需要免密自身!:ssh localhost,否则在配置集群时
ambari Permission denied (publickey,gssapi-keyex,gssapi-with-mic,password)
在hadoop01、hadoop02、hadoop03执行,自身免密
ssh-keygen -t rsa
cd ~/.ssh
cat id_rsa.pub >> authorized_keys
在hadoop01中配置向hadoop02、hadoop03的免密
ssh-copy-id -i ~/.ssh/id_rsa.pub hadoop02
ssh-copy-id -i ~/.ssh/id_rsa.pub hadoop03
在hadoop01、hadoop02、hadoop03配置权限
chmod 700 ~/.ssh
chmod 600 ~/.ssh/authorized_keys
6.同步时钟
3台机器执行如下,如果配置过可以跳过。
yum install -y ntp
systemctl enable ntpd
7.防火墙配置
检查防火墙状态,如果开启状态需配置防火墙白名单,这里使用的是虚拟机,直接关了。
systemctl disable firewalld
service firewalld stop
8.seLiinux、packageKit、umask配置
hadoop01~03修改selinux值
vim /etc/selinux/config
#修改如下选项
SELINUX=disabled
hadoop01~03 安装yum-plugin,并修改配置
yum install yum-plugin-priorities -y
vim /etc/yum/pluginconf.d/refresh-packagekit.conf
#修改如下选项
enabled=0
umask
umask #查看当前umask 是否为0022
umask 0022 #设置umask 为0022
echo umask 0022 >> /etc/profile #永久更改所有交互式用户的umask
9.JDK配置
安装JDK并配置环境变量,这里使用的是1.8版本
export JAVA_HOME=/usr/local/jdk1.8.0_281
export PATH=.:$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
记得source /etc/profile
10.Mysql 配置
hadoop01上安装Mysql 5.7
systemctl start mysqld.service
systemctl status mysqld.service
然后查看mysql-connector-java.jar 是否存在
ls /usr/share/java/mysql-connector-java.jar
如果没有,需要安装
yum install -y mysql-connector-java*
3.上传tar包
文件比较大,11G左右,可以直接用Ftp 上传,也可以使用pscp安装。
4.创建HTTP服务
yum -y install httpd
/sbin/chkconfig httpd on
/sbin/service httpd start
测试http服务,能访问就没问题。
curl http://192.168.179.10:80
5.配置本地yum源
解压tar包
mkdir -p /var/www/html/
# 解压:
cd /softs/hdp-3.15/
tar -zxvf ambari-2.7.5.0-centos7.tar.gz -C /var/www/html/
tar -zxvf HDP-3.1.5.0-centos7-rpm.tar.gz -C /var/www/html/
tar -zxvf HDP-GPL-3.1.5.0-centos7-gpl.tar.gz -C /var/www/html/
tar -zxvf HDP-UTILS-1.1.0.22-centos7.tar.gz -C /var/www/html/
在所有节点执行
yum install yum-plugin-priorities -y
vim /etc/yum/pluginconf.d/priorities.conf
copy repo文件
cd /var/www/html
cp ambari/centos7/2.7.5.0-72/ambari.repo /etc/yum.repos.d/
cp HDP/centos7/3.1.5.0-152/ssl_hdp.repo /etc/yum.repos.d/hdp.repo
cp HDP-GPL/centos7/3.1.5.0-152/hdp.gpl.repo /etc/yum.repos.d/
修改ambari 的yum源配置:vim /etc/yum.repos.d/ambari.repo
#VERSION_NUMBER=2.7.5.0-72
[ambari-2.7.5.0]
#json.url = http://public-repo-1.hortonworks.com/HDP/hdp_urlinfo.json
name=ambari Version - ambari-2.7.5.0
baseurl=http://hadoop01/ambari/centos7/2.7.5.0-72/
gpgcheck=1
gpgkey=http://hadoop01/ambari/centos7/2.7.5.0-72/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1
修改hdp的yum源配置:vim /etc/yum.repos.d/hdp.repo
#VERSION_NUMBER=3.1.5.0-152
[HDP-3.1.5.0]
name=HDP Version - HDP-3.1.5.0
baseurl=http://hadoop01/HDP/centos7/3.1.5.0-152/
gpgcheck=1
gpgkey=http://hadoop01/HDP/centos7/3.1.5.0-152/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1
[HDP-UTILS-1.1.0.22]
name=HDP-UTILS Version - HDP-UTILS-1.1.0.22
baseurl=http://hadoop01/HDP-UTILS/centos7/1.1.0.22/
gpgcheck=1
gpgkey=http://hadoop01/HDP-UTILS/centos7/1.1.0.22/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1
6.配置元数据和启动服务
1.安装ambari
yum -y install ambari-server
2.新建数据库和授权
create database ambari default character set='utf8';
CREATE USER 'ambari'@'localhost' IDENTIFIED BY 'ambari';
CREATE USER 'ambari'@'hadoop01' IDENTIFIED BY 'ambari';
CREATE USER 'ambari'@'%' IDENTIFIED BY 'ambari';
GRANT ALL PRIVILEGES ON ambari.* TO 'ambari'@'localhost' IDENTIFIED BY 'ambari' with grant option;
GRANT ALL PRIVILEGES ON ambari.* TO 'ambari'@'hadoop01' IDENTIFIED BY 'ambari' with grant option;
GRANT ALL PRIVILEGES ON ambari.* TO 'ambari'@'%' IDENTIFIED BY 'ambari' with grant option;
FLUSH PRIVILEGES;
3.导入元数据
在hadoop01 登录MySQL执行:
use ambari;
source /var/lib/ambari-server/resources/Ambari-DDL-MySQL-CREATE.sql
4.安装
在hadoop01 执行
ambari-server setup
OK to continue [y/n] (y)? y
Customize user account for ambari-server daemon [y/n] (n)? y
Enter user account for ambari-server daemon (root):ambari
Enter choice (1): 2
Path to JAVA_HOME: 你的HOME_HOME
Enable Ambari Server to download and install GPL Licensed LZO packages [y/n] (n)? y
Enter advanced database configuration [y/n] (n)? y
Choose one of the following options:
[1] - PostgreSQL (Embedded)
[2] - Oracle
[3] - MySQL / MariaDB
[4] - PostgreSQL
[5] - Microsoft SQL Server (Tech Preview)
[6] - SQL Anywhere
[7] - BDB
Enter choice (1): 元数据用的什么存就输入多少,我用的是mysql 直接输入3即可。
以下可以直接默认,也可以自己设置,我这里直接一路回车使用默认。
Hostname (localhost):
Port (3306):
Database name (ambari):
Username (ambari):
Enter Database Password (bigdata):
Re-enter password:
Should ambari use existing default jdbc /usr/share/java/mysql-connector-java.jar [y/n] (y)? y
Proceed with configuring remote database connection properties [y/n] (y)? y
最后看到Ambari Server ‘setup’ completed successfully. 安装完成
下一步安装agent ,在hadoop01~hadoop03 执行
yum install ambari-agent
然后进入 /etc/ambari-agent/ambari.ini 将localhost修改为所在节点的主机名(hadoop01、hadoop02、hadoop03)
[server]
hostname=hadoop01
5.启动 server
在hadoop01 上执行如下启动server
ambari-server start
ambari-server status
ambari-server stop
server 日志在hadoop01
/var/log/ambari-server/ambari-server.log
6.启动Agent
在hadoop01~03 上执行
ambari-agent start
日志路径在各节点的如下路径
/var/log/ambari-agent/ambari-agent.log
7.访问ambari-UI
访问如下,默认账号密码admin / admin
http://hadoop01:8080
或
http://192.168.179.10:8080
8.集群的创建
登录成功后点击“LAUNCH INSTALL WIZARD” ,开始创建集群。
1.集群命名
2.选择版本和安装库
点击右侧的remove ,只保留redhat7 ,然后 将hadoop01 的http地址输入进去
http://hadoop01/HDP/centos7/3.1.5.0-152/
http://hadoop01/HDP-GPL/centos7/3.1.5.0-152/
http://hadoop01/HDP-UTILS/centos7/1.1.0.22/
3配置安装选项
4 分配主任务
会智能的配分服务的安装节点。
5 选择数据目录
这里我直接使用默认的目录
6.配置ssl密码
7.配置用户
这里直接使用默认
8.等待完成
9.完成
鸣谢:https://blog.csdn.net/NDF923/article/details/116445785