版权声明:本文为博主原创文章,转载请注明出处:https://blog.csdn.net/sgqhappy/article/details/84579336
搭建3台机器,设置3台机器的IP和hostname。
master 192.168.43.31
slave01 192.168.43.32
slave02 192.168.43.33
每个节点
vim /etc/hosts
每个节点设置静态IP,关闭DHCP。
vim /etc/sysconfig/network-scripts/ifcfg-ens33
service network restart
ssh免密登录
每个节点上执行:
ssh-keygen -t rsa
一路默认回车。
将三个节点上的id_rsa.pub中的内容合并后放在authorized_keys。这样,在每台机器上的authorized_keys中都含有三台机器的公钥,验证一下是否可以免密登录。
ssh master
ssh slave01
ssh slave02
如果都不需要输入密码,就代表配置成功!如果不能免密登录,可能是文件权限不对,执行下面的命令,再验证一下。
chmod 710 authorized_keys
所有节点开启NTP服务
yum install ntp
systemctl is-enabled ntpd
systemctl enable ntpd
systemctl start ntpd
三个节点配置FQDN
三个节点关闭防火墙
三个节点关闭SELinux,需要重启机器。
vim /etc/sysconfig/selinux
安装制作本地源工具
yum install yum-utils createrepo
创建一个http服务器,允许 http 服务通过防火墙(永久)
yum install httpd -y
firewall-cmd --add-service=http
firewall-cmd --permanent --add-service=http
systemctl enable httpd && systemctl start httpd
创建目录,并将相关安装包放到目录下并解压
mkdir -p /var/www/html/ambari/
cd /var/www/html/ambari/
tar -zxvf HDP-2.6.3.0-centos7-rpm.tar.gz
tar -zxvf ambari-2.6.0.0-centos7.tar.gz
mkdir HDP-UTILS
tar -zxvf HDP-UTILS-1.1.0.21-centos7.tar.gz
验证http网站是否可用
配置HDP,ambari,HDP-UTILS本地源,修改URL
cd /var/www/html/ambari/ambari/centos7/2.6.0.0-267
vim ambari.repo
#VERSION_NUMBER=2.6.0.0-267
[ambari-2.6.0.0]
name=ambari Version - ambari-2.6.0.0
baseurl=http://192.168.43.31/ambari/ambari/centos7/2.6.0.0-267/
gpgcheck=1
gpgkey=http://192.168.43.31/ambari/ambari/centos7/2.6.0.0-267/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1
vim hdp.repo
#VERSION_NUMBER=2.6.3.0-235
[HDP-2.6.3.0]
name=HDP Version - HDP-2.6.3.0
baseurl=http://192.168.43.31/ambari/HDP/centos7/2.6.3.0-235
gpgcheck=1
gpgkey=http://192.168.43.31/ambari/HDP/centos7/2.6.3.0-235/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1
[HDP-UTILS-1.1.0.21]
name=HDP-UTILS Version - HDP-UTILS-1.1.0.21
baseurl=http://192.168.43.31/ambari/HDP-UTILS
gpgcheck=1
gpgkey=http://192.168.43.31/ambari/HDP-UTILS/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1
将本地源拷贝到/etc/yum.repos.d/下
cp /var/www/html/ambari/ambari/centos7/2.6.0.0-267/ambari.repo /etc/yum.repos.d/
cp /var/www/html/ambari/HDP/centos7/2.6.3.0-235/hdp.repo /etc/yum.repos.d/
yum clean all
yum list update
yum makecache
yum repolist
安装MySQL数据库
安装完成后用root用户登录MySQL,创建ambari,hive,oozie数据库和用户
mysql -uroot -p
create database ambari character set utf8 ;
CREATE USER 'ambari'@'%'IDENTIFIED BY 'Ambari-123';
GRANT ALL PRIVILEGES ON *.* TO 'ambari'@'%';
FLUSH PRIVILEGES;
create database hive character set utf8 ;
CREATE USER 'hive'@'%'IDENTIFIED BY 'Hive-123';
GRANT ALL PRIVILEGES ON *.* TO 'hive'@'%';
FLUSH PRIVILEGES;
create database oozie character set utf8 ;
CREATE USER 'oozie'@'%'IDENTIFIED BY 'Oozie-123';
GRANT ALL PRIVILEGES ON *.* TO 'oozie'@'%';
FLUSH PRIVILEGES;
安装MySQL jdbc驱动
yum install mysql-connector-java
三个节点均安装jdk
mkdir -p /home/software/java
将jdk安装包拷贝到此路径下,在/home/software/java下执行:
tar -zxvf jdk-8u60-linux-x64.tar.gz
vim /etc/profile
export JAVA_HOME=/home/software/java/jdk1.8.0_60
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
PATH=$PATH:$HOME/bin:$JAVA_HOME/bin
source /etc/profile
如果出现:
则:
rpm -qa |grep java
rpm -e --nodeps java-1.8.0-openjdk-1.8.0.161-2.b14.el7.x86_64
rpm -e --nodeps java-1.8.0-openjdk-headless-1.8.0.161-2.b14.el7.x86_64
noarch文件可以不用删除
检查有没有删除:
重新source
安装ambari
yum install ambari-server
ambari-server setup
其中下图中最后一项密码如果和括号内一致,则不用填写,如果不一致,则需要填写为Ambari-123
将ambari数据库脚本导入数据库
source /var/lib/ambari-server/resources/Ambari-DDL-MySQL-CREATE.sql
如果使用MySQL作为hive的元数据库,设置MySQL连接器
ambari-sever setup --jdbc-db=mysql --jdbc-driver=/usr/share/java/mysql-connector-java.jar
启动ambari
启动后在浏览器中输入http://192.168.43.31:8080/
登录页面:账号admin,密码admin
登录成功后出现下面的界面,说明Ambari的安装成功,点击Launch Install Wizard 按钮进行集群配置。
输入集群名字:
选择Hadoop版本:
选择本地源并填写本地源路径:
查看秘钥:cat ~/.ssh/id_rsa
选择要安装的服务:
选择服务安装在哪个节点:
手动填写的内容:
Hive:密码为hive
ambari-metrics密码为:admin
smartsense密码为admin
如果confirm hosts 一直显示preparing
通过查看,/var/run/ambari-server目录没有bootstrap文件夹,手动添加即可
chown -R ambari:ambari /var/run/ambari-server/bootstrap/
如果报错:
执行:sudo chown -R ambari /var/run/ambari-server
如果报错:
修改以下文件中的参数:
vi /etc/ambari-agent/conf/ambari-agent.ini
[security]
ssl_verify_cert=0
force_https_protocol=PROTOCOL_TLSv1_2
进入hive时如果报以下错:
修改~/.bash_profile如下:
开启HDFS的HA
填写nameservice:
Master上执行:
sudo su hdfs -l -c 'hdfs dfsadmin -safemode enter'
sudo su hdfs -l -c 'hdfs dfsadmin -saveNamespace'
sudo su hdfs -l -c 'hdfs namenode -initializeSharedEdits'
至此,CentOS_7安装ambari-2.6.0和hadoop-2.6.3部署大数据集群完成。