Ambari-2.7.3.0+HDP-3.1.0.0安装部署

Ambari-2.7.3.0+HDP-3.1.0.0安装部署
一、安装环境准备
安装前先安装好 Centos7，jdk-8u91, mysql5.7.13

二、虚拟机系统环境准备
1.修改主机名 vim /etc/hosts

2.配置免密登录
使用公司免密登录小脚本

具体使用操作 cat README
3.java环境设置
a.先查看原来是否有 which java

b.rm -rf (原来的)

c.上传jar包，解压

d.配置JAVA_HOME vim /etc/profile

e.source /etc/profile

f.测试是否配置成功 可用jps 命令测试（未设置前jps是无法使用的）

4.防火墙设置
关闭防火墙：systemctl stop firewalld.service
设置开机不启动：systemctl disable firewalld.service
查看防火墙服务是否设置开机启动：systemctl is-enabled firewalld.service

5.开启NTP服务
yum install ntp

systemctl is-enabled ntpd

systemctl enable ntpd

systemctl start ntpd

6. 关闭SELinux
   查看SELinux状态：

sestatus

如果SELinux status参数为enabled即为开启状态
SELinux status: enabled

临时关闭，不用重启机器：

setenforce 0

修改配置文件需要重启机器：

vi /etc/sysconfig/selinux

SELINUX=disabled

7.制作本地源
a.安装 Apache HTTP 服务器
安装HTTP 服务器，允许 http 服务通过防火墙(永久)
yum install httpd
firewall-cmd --add-service=http（暂时开启防火墙 然后再关闭）

firewall-cmd --permanent --add-service=http

添加 Apache 服务到系统层使其随系统自动启动
systemctl start httpd.service
systemctl enable httpd.service

b.安装本地源制作相关工具
yum install yum-utils createrepo

c.下载安装资源
ambari-2.7.3.0-centos7.tar.gz
HDP-3.1.0.0-centos7-rpm.tar.gz
HDP-UTILS-1.1.0.22-centos7.tar.gz
d.解压资源修改配置
cd /var/www/html中添加 ambari文件
mkdir ambari

将下载的安装资源上传到该目录，解压
tar -zxvf ambari-2.7.3.0-centos7.tar.gz
tar -zxvf HDP-3.1.0.0-centos7-rpm.tar.gz
tar -zxvf HDP-UTILS-1.1.0.22-centos7.tar.gz
解压后，修改俩个配置文件

vim ambari.repo

cd /var/www/html/ambari/HDP/centos7/3.1.0.0-78

vim /hdp.repo

e.将修改的俩个配置文件拷贝到 /etc/yum.repos.d/中
scp -r ambari.repo /etc/yum.repos.d/
scp -r hdp.repo /etc/yum.repos.d/
执行以下操作
yum clean all
yum list update
yum makecache
yum repolist

f.验证httd网站是否可用，可以使用浏览器直接访问下面的地址：

  http://172.16.150.160/ambari/

8.安装Mysql数据库
具体安装流程可参考：

https://blog.csdn.net/lochy/article/details/51721319

a.下载mysql的repo源

wget http://repo.mysql.com/mysql57-community-release-el7-8.noarch.rpm

b.安装mysql57-community-release-el7-8.noarch.rpm包

rpm -ivh mysql57-community-release-el7-8.noarch.rpm --nodeps --force

注：安装这个包后，会获得两个mysql的yum repo源：/etc/yum.repos.d/mysql-community.repo，/etc/yum.repos.d/mysql-community-source.repo

c.安装mysql

yum install mysql-server

d.启动mysql服务
查看状态：service mysqld status

启动：service mysqld start

e.重置密码

MySQL5.7会在安装后为root用户生成一个随机的密码，而不是像以往版本的空密码。
可以安全模式修改root登录密码或者用随机的密码登录修改密码。下面用随机的密码方式

MySQL为root用户生成的随机的密码通过mysqld.log文件可以查找到：

grep ‘temporary password’ /var/log/mysqld.log

修改root用户密码：(MySQL的密码策略比较复杂，过于简单的密码会被拒绝)

mysql -u root -p

mysql> Enter password: （输入刚才查询到的随机的密码）

mysql> SET PASSWORD FOR ‘root’@‘localhost’= “Root-123”;

mysql> exit

用root新密码登录：

mysql -u root -pRoot-123

如果上面的方式不能修改可以使用下面安全模式修改root：

关闭服务
systemctl stop mysqld.service
vi /etc/my.cnf
mysqld下面添加skip-grant-tables 保存退出启动服务
systemctl start mysqld.service
mysql -u root 不用密码直接回车
use mysql
update user set authentication_string=password(‘Root-123’) where User=‘root’ and Host=‘localhost’;
flush privileges;
exit;
vi /etc/my.cnf 把 skip-grant-tables 一句删除保存退出重启mysql服务
systemctl restart mysqld.service
再次登录即可
mysql -u root -pRoot-123

如果进行操作出现下面的提示:
You must reset your password using ALTER USER statement before executing this statement.
就再设置一遍密码
set password = password(‘Root-123’);

f.开放3306端口
允许使用用户名root密码Root-123456从任何主机连接到mysql服务器

mysql>GRANT ALL PRIVILEGES ON . TO ‘root’@’%’ IDENTIFIED BY ‘Root-123456’ WITH GRANT OPTION;

mysql>FLUSH PRIVILEGES;

mysql>exit;

开启防火墙mysql 3306端口的外部访问(暂时开启防火墙，再关闭)

firewall-cmd --zone=public --add-port=3306/tcp --permanent

firewall-cmd --reload

安装完成后创建ambari数据库及用户，登录root用户执行下面语句：

安装完成后创建ambari数据库及用户，登录root用户执行下面语句：

create database ambari character set utf8 ;
CREATE USER ‘ambari’@’%‘IDENTIFIED BY ‘Ambari-123’;
GRANT ALL PRIVILEGES ON . TO ‘ambari’@’%’;
FLUSH PRIVILEGES;
如果要安装Hive，再创建Hive数据库和用户 再执行下面的语句：
create database hive character set utf8 ;
CREATE USER ‘hive’@’%‘IDENTIFIED BY ‘Hive-123’;
GRANT ALL PRIVILEGES ON . TO ‘hive’@’%’;
FLUSH PRIVILEGES;
如果要安装Oozie，再创建Oozie数据库和用户 再执行下面的语句：
create database oozie character set utf8 ;
CREATE USER ‘oozie’@’%‘IDENTIFIED BY ‘Oozie-123’;
GRANT ALL PRIVILEGES ON . TO ‘oozie’@’%’;
FLUSH PRIVILEGES;

g.安装mysql jdbc 驱动

yum install mysql-connector-java

三、进行安装ambari
1.安装Ambari
yum install ambari-server

2.配置Ambari
ambari-server setup

Passwd:Ambari-123

回车是默认，也可自己手动输入

如果上面选择3自定义JDK,则需要设置JAVA_HOME。

输入：/usr/java/jdk1.8.0_211

配置成功！

3.将Ambari数据库脚本导入到数据库
用Ambari用户（上面设置的用户）登录mysql

mysql -u ambari -p

use ambari

source /var/lib/ambari-server/resources/Ambari-DDL-MySQL-CREATE.sql

4.启动Amabri
执行启动命令，启动Ambari服务

    ambari-server start

   成功启动后在浏览器输入Ambari地址：

    http://172.16.150.160:8080/#/login

    账号密码：admin/admin

四、ambari添加节点与服务
1.安装集群，设置集群名称 HDP

2.设置HDP 安装源（忘记截图了）

选择本地配置的源:yum.repo.d中配置的地址

只配置redhot7:

http://172.16.150.160/ambari/HDP/centos7/3.1.0.0-78/
http://172.16.150.160/ambari/HDP-UTILS/centos7/1.1.0.22/

3.添加节点与ssh私钥文件

node160

node161

node162

ssh私钥文件存放位置：id_rsa 下载到本地上传即可

[root@node160 ~]# cd .ssh/
[root@node160 .ssh]# ls
authorized_keys id_rsa id_rsa.pub known_hosts

4.Host 确认

确认前面配置集群中hosts列表 中的机器是否都可用，也可以移除相关机器，集群中机器Success后进行下一步操作

5.选择要安装的服务

6.默认服务节点分配即可

7.自定义服务时：注意 根据提示 先进行如下操作（注意路径是否正确） 再继续

ambari-server setup --jdbc-db=mysql --jdbc-driver=/usr/share/java/mysql-connector-java.jar

8.开始安装（过程有点慢，耐心等待）

9.安装完成：各项服务正常启动运行

五、总结
安装过程中，可能会出现一些问题，尽可能的多查看日志获取具体问题。基本操作如上所述，后续安装服务有些图忘记截屏未能上传，请见谅，如有疑问，可私信我，共同学习进步。知无不言言无不尽。