Ambari以及HDP搭建大数据集群

注：

1、主机均为centos7

2、 安装使用root用户，

3、避免权限问题导致的不成功

四台主机安装，分配如下：

hdp-01 作为：ambari-serrver，hdp-02~hdp-04 作为ambari-agent

一、安装前的系统设定

1) 修改机器名、Hosts文件

# vim /etc/hostname
  hdp-01
# vim /etc/hosts
  192.168.3.100 hdp01.xxxx.com hdp-01
  192.168.3.110 hdp02.xxxx.com hdp-02
  192.168.3.120 hdp03.xxxx.com hdp-03
  192.168.3.130 hdp04.xxxx.com hdp-04
注：第一列为主机的IP，第二列为主机的FQDN域名，作用于主机名类似（配置HDP组件的时候需要），第三列为主机名。修改完以后，重启每一台机器。

2）关闭Selinux，所有机器

# vi /etc/sysconfig/selinux
  selinux=disabled

3）关闭防火墙

# systemctl stop firewalld
# systemctl disable firewalld

4）制作集群的SSH免密码登录

在ambari.server上创建密钥：# ssh-keygen -t rsa

一路Enter到密钥生：进入~/.ssh目录，查看密钥文件：

私钥：id_rsa 公钥：id_rsa.pub

从ambari.server上，发送公钥给目标服务器：

# scp ~/.ssh/id_rsa.pub hdp-01:/root/.ssh/authorized_keys
# scp ~/.ssh/id_rsa.pub hdp-02:/root/.ssh/authorized_keys
# scp ~/.ssh/id_rsa.pub hdp-03:/root/.ssh/authorized_keys
# scp ~/.ssh/id_rsa.pub hdp-01:/root/.ssh/authorized_keys

在ambari.server上验证SHH可以免密码登录目标服务器：

# ssh hdp-02
如果无需输入密码，且用hostname命令查看到正确的主机名，则表示配置免密码登录成功；

5)设置ntpd自动启动，所有机器

# yum install -y ntp      //安装ntp服务
# systemctl enable ntpd  //设置服务开机启动
# systemctl start ntpd   //启动服务

设置时间同步，所有机器，以其中一台作为时间同步的标准

# cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime
# ntpdate us.pool.ntp.org
# vi /etc/ntp.conf

# systemctl restart ntpd //重启服务
# systemctl status ntpd  //查看ntp是否成功

如图：

# ntpstat

二、所有六台机器安装JDK1.8

# mkdir -p /usr/java/
上传jdk到目录/usr/java/
# tar -xzvf jdk-8u121-linux-x64.tar.gz

配置环境变量，添加以下内容：

# vim /etc/profile
JAVA_HOME=/usr/java/jdk1.8.0_121
CLASSPATH=$JAVA_HOME/lib/
PATH=$PATH:$JAVA_HOME/bin
export PATH JAVA_HOME CLASSPATH

执行以下语句，使环境变量立刻生效：

# source /etc/profile

验证Java安装成功：

# java -version
java version "1.8.0_131"
Java(TM) SE Runtime Environment (build 1.8.0_131-b11)
Java HotSpot(TM) 64-Bit Server VM (build 25.131-b11, mixed mode)

三、安装MySQL（ambari-server）也就是hdp-01

Mysql数据库安装过程如下：

下载mysql的repo源（CentOS 7.2的yum源中默认没有mysql，要先下载mysql的repo源）
# yum install -y wget 
# wget http://repo.mysql.com/mysql57-community-release-el7-8.noarch.rpm

安装mysql57-community-release-el7-8.noarch.rpm包
# rpm -ivh mysql57-community-release-el7-8.noarch.rpm  --nodeps --force

安装这个包后，会获得两个mysql的yum repo源
# ll /etc/yum.repos.d
 mysql-community.repo
 mysql-community-source.repo

安装mysql
# yum install -y mysql-server //安装
# systemctl start mysqld      // 启动
# systemctl enable mysqld     // 开机自启
# service mysqld status       // 运行状态

MySQL为root用户生成的随机密码通过mysqld.log文件可以查找到：

# grep 'temporary password' /var/log/mysqld.log
# mysql -u root -p
mysql> Enter password: （输入刚才查询到的随机密码）

修改root用户密码：(MySQL的密码策略比较复杂，过于简单的密码会被拒绝)。首先修改安全策略，避免过于简单的密码被拒绝：

mysql> set global validate_password_policy=0;
mysql> set global validate_password_length=4;
# 重置用户密码
mysql