配置环境呢,最喜欢的就是别人有现成的成功经验了,最气的是有些步骤别人的可以但是自己的就是不行。
所以我在后面附上了自己搭建过程中遇到的一些坑,可以借鉴采用。
软件及工具:
系统软件:CentOS7
VMvare创建2个虚拟机:
master(6g内存,50g存储),node1(3g内存,40g存储)
XSHELL:远程登录虚拟机操作使用
集群节点说明:(vim / etc / hosts添加)
220.192.10.132 master.hadoop
220.192.10.121 node1.hadoop
Ambari 2.5.2.0匹配的JDK是:jdk-8u112-linux-x64.tar.gz
** 相关软件包
- JDK-8u112-Linux的x64.tar.gz
- jce_policy-8.zip
- ambari-2.5.2.0-centos7.tar.gz
- HDP-2.6.2.0-centos7-rpm.tar.gz
- HDP-UTILS-1.1.0.21 - centos7.tar.gz
主从节点间设置SSH免密钥登录:
#1.配置hosts文件:
vim / etc / hosts
添加:
220.192.10.132 master.hadoop
220.192.10.121 node1.hadoop
在所有节点配置的主机,或者单独配置后SCP配置好的主机给从节点。
scp / etc / hosts node1 :/ etc.
#2,关闭防火墙并禁止开机启动:
systemctl stop firewalld.service
systemctl禁用firewalld.service
#3,关闭SELINUX:
vim / etc / selinux / config
SELINUX =禁用
reboot 0 //重启生效,不过可稍后重启
#4. 配置免密登陆:
s s h-keygen -t rsa //两次回车
ssh-copy-id -i~ / .ssh / id_rsa.pub root @ node1
配置主节点免密登陆各从节点。在各个从节点上生成公司并将其发送添加到主节点已知密钥中:
ssh-keygen -t rsa //回车
ssh-copy-id -i~ / .ssh / id_rsa.pub root @ node1
配置从节点间免密登陆。将主节点上存放的已知密钥发送到各从节点:
scp~ / .ssh / authorized_keys root @ node1:〜/ .ssh /
#5. 安装JDK :( 主从节点同时进行,或scp你的jdk和jdk配置文件)
检查卸载已经安装的默认JDK
#rpm -qa | grep jdk
#yum -y remove java*openjdk*
安装JDK :(根据解压的文件夹)
- 下载jdk1.8安装包
- 将文件传到指定目录jdk-8u121-linux-x64.tar.gz
- 解压文件
tar -zxvf jdk-8u121-linux-x64.tar.gz -C / usr / local
mv jdk1。8.0 _91 jdk
配置环境变量vim / etc / profile在文件末尾添加:
export JAVA_HOME=/usr/local/java/jdk