Ambari 2.7.3配置指南

Ambari 配置指南

一、目的：

学习搭建Ambari大数据平台，了解Hadoop生态环境，为后期大数据运维做准备
• 数据安全
需要实现数据冗余，避免数据的单点故障
• 可线性扩展
当数据增长到TB、甚至PB以上时，存储方案需要支持可线性扩展
• 存储高可用
某个存储服务宕掉时，不影响整体存储方案的可用
• 性能
性能达到应用要求

二、hortonworks简介

搭建ambari大数据平添分别需求使用Apache Ambari和HDP和HDP-UTILS一系列组件。
Apache Ambari 是一个基于 Web 的 Apache Hadoop 集群的供应、管理和监控。Ambari目前已支持大多数Hadoop组件，包括HDFS、MapReduce、Hive、Pig、 Hbase、Zookeper、Sqoop和Hcatalog等。
Apache Ambari 支持HDFS、MapReduce、Hive、Pig、Hbase、Zookeper、Sqoop和Hcatalog等的集中管理。也是5个顶级hadoop管理工具之一。
HDP是hortonworks的软件栈，里面包含了hadoop生态系统的所有软件项目，是Hortonworks公司基于Hadoop生态系统开源组件构建的大数据分析平台。
HDP-UTILS是工具类库。

三、准备工作：

3.1、Ambari、HDP版本介绍

Ambari 2.7.3仅支持HDP-3.1.0，HDP-3.0.1，HDP-3.0.0使用以下URL确定对每个产品版本的支持https://supportmatrix.hortonworks.com/，以及下载报告

3.2、工具包下载：

ambari-2.7.3.0-centos7.tar.gz
HDP-3.1.0.0-centos7-rpm.tar.gz
HDP-UTILS-1.1.0.22-centos7.tar.gz
jjdk1.8.0_271-amd64.tar.gz
mysql-5.7.27-1.el7.x86_64.rpm-bundle.tar

3.3、服务器防火墙关闭

3.3.1、关闭掉linux防火墙

[root@master~]# systemctl disable firewalld  #设置开机禁止启动防火墙
[root@master~]# systemctl stop firewalld systemctl #关闭防火墙
另外所有机器还需修改：
[root@master ~]# vim /etc/selinux/config
参数修改如下：
SELINUX=disabled
SELINUXTYPE=targeted

安装完成后，可以重新启动iptables。如果您环境中的安全协议阻止禁用iptables，则可以启用iptables，如果所有必需端口都已打开且可用，Ambari会在Ambari Server安装过程中检查iptables是否正在运行。如果iptables正在运行，则会显示警告，提醒检查所需端口是否已打开且可用。群集安装向导中的“主机确认”步骤还会为运行iptables的每个主机发出警告。

3.4、修改主机名及机器隐射（hosts）

3.4.1、通过vi /etc/hostname 进行修改

各个节点修改成相应的名称，分别为master,slave1.slave2。

[hadoop@master ~]$ vim /etc/hostname 

3.4.2、修改/etc/hosts文件（所有机器）

这里主要是为了可以实现通过名称来查找相应的服务器

[root@master ~]# vi /etc/hosts
127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
	  ::1 localhost localhost.localdomain localhost6 localhost6.localdomain6
10.10.10.101 master 
10.10.10.100 slave1 
10.10.10.102 slave2 

3.4.3、修改主机为英文，如果是因为则不需要处理

[root@master data]# vi /etc/locale.conf
LANG="en_US.UTF-8"

3.4.4、修改固定IP（所有机器）

[root@master ~]# vi /etc/sysconfig/network
# Created by anaconda
NETWORKING=yes

#设置静态IP

[root@master ~]# vi /etc/sysconfig/network-scripts/ifcfg-eno1
TYPE=Ethernet
PROXY_METHOD=none
BROWSER_ONLY=no
BOOTPROTO=static
DEFROUTE=yes
IPV4_FAILURE_FATAL=no
IPV6INIT=yes
IPV6_AUTOCONF=yes
IPV6_DEFROUTE=yes
IPV6_FAILURE_FATAL=no
IPV6_ADDR_GEN_MODE=stable-privacy
NAME=eno1
UUID=5fb06bd0-0bb0-7ffb-45f1-d6edd65f3e03
DEVICE=eno1
ONBOOT=yes
IPADDR=10.10.10.101
NETMASK=255.255.255.0
GATEWAY=10.10.10.254
DNS1=10.10.10.254
DNS2=114.114.114.114

3.4.5、重启电脑

 [hadoop@master ~]$ reboot

3.5、服务器的免登陆（所有机器）

3.5.1、配置master节点无密码登录到其他节点，在master节点上操作

#对所有机器生成秘钥
[root@master ~]# ssh-keygen -t rsa  #连接提示选yes ，密码提示填登录密码
[root@master ~]# ssh-copy-id slave1
[root@master ~]# ssh-copy-id slave2
[root@master ~]# ssh-copy-id master

3.5.2、测试所有机器是否SSH免登陆互通

[hadoop@master ~]$ ssh slave1 date ;ssh slave2 date;ssh master date;
Wed Jan 27 09:57:36 CST 2021
Wed Jan 27 09:57:29 CST 2021
Wed Jan 27 09:57:45 CST 2021

3.5.3、将创建的密钥（私钥）拷贝出来

因为后面ambari安装的时候需要上传秘钥。创建秘钥是在隐藏文件夹/root/.ssh/下面的，所以需要先把密钥拷贝到可见区域。

[root@master ~]# mkdir /home/tools
[root@master ~]# cp /root/.ssh/id_rsa /home/tools/
[root@master ~]# ls /home/tools

3.6、删除openJDK

3.6.1、删除默认JDK

一些开发版的centns会自带jdk，我们一般用自己的jdk，把自带的删除。先看看有没有安装java -version
[root@master ~]# java -version
openjdk version "1.8.0_101"
OpenJDK Runtime Environment (build 1.8.0_101-b13)
OpenJDK 64-Bit Server VM (build 25.101-b13, mixed mode)

3.6.2、查找他们的安装位置

[root@master ~]# rpm -qa | grep java
java-1.8.0-openjdk-headless-1.8.0.101-3.b13.el7_2.x86_64
tzdata-java-2016f-1.el7.noarch
java-1.8.0-openjdk-1.8.0.101-3.b13.el7_2.x86_64
javapackages-tools-3.4.1-11.el7.noarch
java-1.7.0-openjdk-headless-1.7.0.111-2.6.7.2.el7_2.x86_64
java-1.7.0-openjdk-1.7.0.111-2.6.7.2.el7_2.x86_64
python-javapackages-3.4.1-11.el7.noarch

3.6.3、删除全部，noarch文件可以不用删除

[root@master ~]# rpm -e --nodeps java-1.8.0-openjdk-headless-1.8.0.101-