Ambari2.7.3 + HDP3.1.0 集群搭建手册

工具包下载

ambari-2.7.3.0：
http://public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/2.7.3.0/ambari-2.7.3.0-centos7.tar.gz

HDP-3.1.0：
http://public-repo-1.hortonworks.com/HDP/centos7/3.x/updates/3.1.0.0/HDP-3.1.0.0-centos7-rpm.tar.gz

HDP-UTILS-1.1.0.22：
http://public-repo-1.hortonworks.com/HDP-UTILS-1.1.0.22/repos/centos7/HDP-UTILS-1.1.0.22-centos7.tar.gz

JDK：1.8版本

准备工作 (所有机器)

安装 vim 编辑器

# 查看本机是否已经安装了某些 vim 的包
rpm -qa|grep vim

# 一般来说， vim 包含这三个包 vim-enhanced-xxx ， vim-minimal-xxx ， vim-common-xxx
# 通过上面检查安装包的命令，看漏了哪个包
# 例如： 漏了 vim-enhanced 这个包，则执行 yum -y install vim-enhanced 命令，如果三个包都缺，直接执行 yum -y install vim*

修改系统语言

系统语言必须是英文，如果不是，请按照下面步骤修改系统语言

# 进入修改系统语言的文件
vim /etc/locale.conf

# 将 LANG 属性改为如下所示
en_US.UTF-8

服务器防火墙关闭

关闭 iptables

# 查看 iptables 状态
service iptables status
（active 表示开启， inactive 表示没有开启）

# 停止防火墙
service iptables stop

# 永久关闭防火墙
chkconfig iptables off

关闭 firewalld

# 查看防火墙状态
firewall-cmd --state
(not running 表示防火墙未开启， running 表示防火墙开启)

# 关闭防火墙
systemctl stop firewalld

# 永久关闭防火墙
systemctl disable firewalld

修改主机名及机器映射

修改各个节点的名称

# 进入修改主机名称的文件
vim /etc/hostname

# 输入主机名
master.hadoop

修改 hosts 文件

# 进入 hosts 文件
vim /etc/hosts

# 输入所有 ip 和它们对应的主机名
127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
10.34.50.142 master.hadoop
10.34.50.143 slave1.hadoop
10.34.50.145 slave2.hadoop
10.34.50.146 slave3.hadoop

注意：上面两行别删掉，也别修改

重启电脑

# 执行下列命令
reboot

服务器的免登陆

# 执行以下命令生成 rsa 密钥，一路回车即可
ssh-keygen -t rsa

# 生成 authorized_keys
cat id_rsa.pub >> authorized_keys

# 修改文件权限
chmod 700 ~/.ssh
chmod 600 ~/.ssh/authorized_keys

# 将密钥拷贝到其他主机，包括本身（主服务器）
ssh-copy-id slave1.hadoop
ssh-copy-id slave2.hadoop
ssh-copy-id slave3.hadoop
ssh-copy-id master.hadoop

# 测试所有机器是否 SSH 免登陆互通
ssh slave1.hadoop
ssh slave2.hadoop
ssh slave3.hadoop
ssh master.hadoop

# 将创建的秘钥拷贝出来
mkdir /home/tools
cp /root/.ssh/id_rsa /home/tools/

删除openJDK

检查是否安装 JDK

# 显示 java 版本
java -version

查找他们的安装包

# 查找对应的安装包
rpm -qa | grep java

删除全部，noarch 文件可以不用删除

# 删除安装包
rpm -e --nodeps xxx

检查是否删除

# 显示 java 版本
java -version

# 如果还没删除干净，可以重复执行查找安装包的命令，然后使用 yum -y remove xxx 去删除他们

服务器时间同步

安装 ntp 服务

yum -y install ntp

设置 master 为主服务器，开启 nptd 服务（主服务器）

vim /etc/ntp.conf

# 打开下面这句话的注释
restrict 192.168.0.0mask 255.255.255.0

# 注释掉其他上游时间服务器
#server 0.centos.pool.ntp.orgiburst
#server 1.centos.pool.ntp.orgiburst
#server 2.centos.pool.ntp.orgiburst
#server 3.centos.pool.ntp.orgiburst

# 新增
server 127.127.1.0
fudge 127.127.1.0 stratum 10

启动服务

systemctl start ntpd.service

开机自启动

systemctl enable ntpd.service

子节点设置同步

# 先在主节点执行
crontab -e

# 输入以下内容，保存
0-59/10 * * * * /usr/sbin/ntpdate master.hadoop

# 在各个子节点执行
crontab -l

# 输入以下内容，保存
0-59/10 * * * * /usr/sbin/ntpdate master.hadoop