本文所涉及到的所有安装文件
链接: https://pan.baidu.com/s/1i5pBbdr 密码: bt8e
1.帐号密码
切换到root用户,创建hadoop用户,密码设置为hadoop123,忽视密码简单提醒
>> useradd hadoop
>> usermod -g root hadoop
>> passwd hadoop
两次输入hadoop123即可
设置sudo的权限
>> chmod u+w /etc/sudoers
>> vim /etc/sudoers 在root ALL=(ALL) ALL在起下面添加hadoop ALL=(ALL) ALL
>> chmod u-w /etc/sudoers
2.服务器时间配置
切换到root用户,服务器时间必须一致,可以按如下配置到同一时区
>> rm -f /etc/localtime
>> ln -s /usr/share/zoneinfo/Asia/Shanghai /etc/localtime
3.网络配置
切换到root用户,配置hostname,要求必须符合域名规范类似于..com格式的,所有节点均需按如下要求设置
>> hostname ha01.*.com
>> hostname ha02.*.com
配置hosts文件
>> vi /etc/hosts
写入如下内容,IP对应自己的IP,hostname可自己编写
# Hadoop cluster test
10.1.0.4 ha01.*.com ha01
10.1.0.5 ha02.*.com ha02
4.ssh无密钥访问
切换到hadoop用户
>> su hadoop
>> ssh-keygen -t rsa -P ''
一路回车到结束,私钥生成成功 ,-P ''表示密码为空,然后导入公钥
>> cat .ssh/id_rsa.pub >> .ssh/authorized_keys
>> ssh localhost 如果能通表示配置成功,如果不成功需要修改下权限
>> chmod 600 .ssh/authorized_keys
依次配置各台机器,然后将各服务器的id_rsa.pub均复制到主节点上
scp .ssh/id_rsa.pub hadoop@ha01:/home/hadoop/id_rsa_02.pub
在主节点上将公钥写到认证keys
>> cat id_rsa_02.pub >> .ssh/authorized_keys
将主节点上认证keys复制到子节点
>> scp .ssh/authorized_keys hadoop@ha02:/home/hadoop/.ssh/
在一节点上通过ssh访问各子节点,查看.ssh目录下有known_hosts,这里为信任目录,查看是否所有的节点都存在记录将此文件复制
到其他节点
>> scp known_hosts hadoop@ha02:/home/hadoop/.ssh/
在各节点上自由ssh可以看到可以互相访问
5.安装文件上传
将所有安装所有的文件上传到主节点服务器
6.检查jdk版本
Hadoop-CDH5.11.0支持最好为jdk1.8以上目前最新版本为jdk1.8.131,不支持openjdk
所有节点检查命令:
>> java -version
>> javac -version
检查结果,必须一致
java version "1.8.0_131"
Java(TM) SE Runtime Environment (build 1.8.0_131-b11)
Java HotSpot(TM) 64-Bit Server VM (build 25.131-b11, mixed mode)
如果不一致安装oracle jdk,切换到root用户
下载jdk-8u131-linux-x64.tar.gz安装包
>> tar -zxvf jdk-8u131-linux-x64