CentOS_7安装ambari-2.6.0和hadoop-2.6.3部署大数据集群

版权声明：本文为博主原创文章，转载请注明出处：https://blog.csdn.net/sgqhappy/article/details/84579336

搭建3台机器，设置3台机器的IP和hostname。

master    192.168.43.31

slave01   192.168.43.32

slave02   192.168.43.33

每个节点

vim /etc/hosts

每个节点设置静态IP，关闭DHCP。

vim /etc/sysconfig/network-scripts/ifcfg-ens33

service network restart

ssh免密登录

每个节点上执行：

ssh-keygen -t rsa

一路默认回车。

将三个节点上的id_rsa.pub中的内容合并后放在authorized_keys。这样，在每台机器上的authorized_keys中都含有三台机器的公钥，验证一下是否可以免密登录。

ssh master
ssh slave01
ssh slave02

如果都不需要输入密码,就代表配置成功！如果不能免密登录，可能是文件权限不对，执行下面的命令，再验证一下。

chmod 710 authorized_keys

所有节点开启NTP服务

yum install ntp
systemctl is-enabled ntpd
systemctl enable ntpd
systemctl start ntpd

三个节点配置FQDN

三个节点关闭防火墙

三个节点关闭SELinux，需要重启机器。

vim /etc/sysconfig/selinux

安装制作本地源工具

yum install yum-utils createrepo

创建一个http服务器，允许 http 服务通过防火墙(永久)

yum install httpd -y
firewall-cmd --add-service=http
firewall-cmd --permanent --add-service=http
systemctl enable httpd && systemctl start httpd

创建目录，并将相关安装包放到目录下并解压

mkdir -p /var/www/html/ambari/
cd /var/www/html/ambari/
tar -zxvf HDP-2.6.3.0-centos7-rpm.tar.gz
tar -zxvf ambari-2.6.0.0-centos7.tar.gz
mkdir HDP-UTILS
tar -zxvf HDP-UTILS-1.1.0.21-centos7.tar.gz

验证http网站是否可用

配置HDP,ambari,HDP-UTILS本地源，修改URL

cd /var/www/html/ambari/ambari/centos7/2.6.0.0-267
vim ambari.repo

#VERSION_NUMBER=2.6.0.0-267
[ambari-2.6.0.0]
name=ambari Version - ambari-2.6.0.0
baseurl=http://192.168.43.31/ambari/ambari/centos7/2.6.0.0-267/
gpgcheck=1
gpgkey=http://192.168.43.31/ambari/ambari/centos7/2.6.0.0-267/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1

vim hdp.repo

#VERSION_NUMBER=2.6.3.0-235
[HDP-2.6.3.0]
name=HDP Version - HDP-2.6.3.0
baseurl=http://192.168.43.31/ambari/HDP/centos7/2.6.3.0-235
gpgcheck=1
gpgkey=http://192.168.43.31/ambari/HDP/centos7/2.6.3.0-235/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1


[HDP-UTILS-1.1.0.21]
name=HDP-UTILS Version - HDP-UTILS-1.1.0.21
baseurl=http://192.168.43.31/ambari/HDP-UTILS
gpgcheck=1
gpgkey=http://192.168.43.31/ambari/HDP-UTILS/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1

将本地源拷贝到/etc/yum.repos.d/下

cp /var/www/html/ambari/ambari/centos7/2.6.0.0-267/ambari.repo /etc/yum.repos.d/
cp /var/www/html/ambari/HDP/centos7/2.6.3.0-235/hdp.repo /etc/yum.repos.d/

yum clean all
yum list update
yum makecache
yum repolist

安装MySQL数据库

安装完成后用root用户登录MySQL，创建ambari，hive，oozie数据库和用户

mysql -uroot -p
create database ambari character set utf8 ;  
CREATE USER 'ambari'@'%'IDENTIFIED BY 'Ambari-123';
GRANT ALL PRIVILEGES ON *.* TO 'ambari'@'%';
FLUSH PRIVILEGES;

create database hive character set utf8 ;  
CREATE USER 'hive'@'%'IDENTIFIED BY 'Hive-123';
GRANT ALL PRIVILEGES ON *.* TO 'hive'@'%';
FLUSH PRIVILEGES;

create database oozie character set utf8 ;  
CREATE USER 'oozie'@'%'IDENTIFIED BY 'Oozie-123';
GRANT ALL PRIVILEGES ON *.* TO 'oozie'@'%';
FLUSH PRIVILEGES;

安装MySQL jdbc驱动

yum install mysql-connector-java

三个节点均安装jdk

mkdir -p /home/software/java

将jdk安装包拷贝到此路径下，在/home/software/java下执行：

tar -zxvf jdk-8u60-linux-x64.tar.gz 

vim /etc/profile
export JAVA_HOME=/home/software/java/jdk1.8.0_60
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
PATH=$PATH:$HOME/bin:$JAVA_HOME/bin
source /etc/profile

如果出现：

则：

rpm -qa |grep java
rpm -e --nodeps java-1.8.0-openjdk-1.8.0.161-2.b14.el7.x86_64
rpm -e --nodeps java-1.8.0-openjdk-headless-1.8.0.161-2.b14.el7.x86_64

noarch文件可以不用删除

检查有没有删除：

重新source

安装ambari

yum install ambari-server
ambari-server setup

其中下图中最后一项密码如果和括号内一致，则不用填写，如果不一致，则需要填写为Ambari-123

将ambari数据库脚本导入数据库

source /var/lib/ambari-server/resources/Ambari-DDL-MySQL-CREATE.sql

如果使用MySQL作为hive的元数据库，设置MySQL连接器

ambari-sever setup --jdbc-db=mysql --jdbc-driver=/usr/share/java/mysql-connector-java.jar

启动ambari

启动后在浏览器中输入http://192.168.43.31:8080/

登录页面：账号admin,密码admin

登录成功后出现下面的界面，说明Ambari的安装成功，点击Launch Install Wizard 按钮进行集群配置。

输入集群名字：

选择Hadoop版本：

选择本地源并填写本地源路径：

 

查看秘钥：cat ~/.ssh/id_rsa

 

  

选择要安装的服务：

   

选择服务安装在哪个节点：

  

手动填写的内容：

Hive:密码为hive

ambari-metrics密码为：admin

smartsense密码为admin

 

如果confirm hosts 一直显示preparing

通过查看，/var/run/ambari-server目录没有bootstrap文件夹，手动添加即可

chown -R ambari:ambari /var/run/ambari-server/bootstrap/

如果报错：

执行：sudo chown -R ambari /var/run/ambari-server

 

 

 

如果报错：

修改以下文件中的参数：

vi /etc/ambari-agent/conf/ambari-agent.ini

 

[security]

ssl_verify_cert=0

force_https_protocol=PROTOCOL_TLSv1_2

进入hive时如果报以下错：

修改~/.bash_profile如下：

开启HDFS的HA

填写nameservice:

   

Master上执行：

sudo su hdfs -l -c 'hdfs dfsadmin -safemode enter'

sudo su hdfs -l -c 'hdfs dfsadmin -saveNamespace'

  

sudo su hdfs -l -c 'hdfs namenode -initializeSharedEdits'

  

   

至此，CentOS_7安装ambari-2.6.0和hadoop-2.6.3部署大数据集群完成。