Hadoop全分布集群问题及配置

首先要让电脑之间能够访问别名
配置hosts文件（只需要对主机192.168.18.129（hadoop1）进行操作，然后通过scp命令将这些配置分发给其他电脑即可）,但我全部都配置了

操作192.168.18.129机器(主机)

vi /etc/hosts 添加下面内容 让电脑只有名字就知道是哪台，不一定要用IP
192.168.80.129 master
192.168.80.130 slave1
192.168.80.131 slave2
192.168.80.132 slave3

验证：
ping slave1
ping slave2
ping slave3

1.打开终端，输入下面，选择Y不输入密码,将四台机器都生成SSH私钥
并且为免密码登录( -P ” -f ~/.ssh/id_rsa)
ssh-keygen -t rsa -P ” -f ~/.ssh/id_rsa
ssh-keygen -t rsa会在/home/neil/.ssh/id_rsa.pub文件夹下生成id_rsa id_rsa.pub两个文件

2.在每台机器上分别输入执行（对四台台机器分别生成公钥,每台写一句）
cp ~/.ssh/id_rsa.pub ~/.ssh/id_rsa.pub.129
cp ~/.ssh/id_rsa.pub ~/.ssh/id_rsa.pub.130
cp ~/.ssh/id_rsa.pub ~/.ssh/id_rsa.pub.131
cp ~/.ssh/id_rsa.pub ~/.ssh/id_rsa.pub.132

3将三台节点的的公钥传输到主机的机器上(分别在三台node节点上写一句）
scp -r ~/.ssh/id_rsa.pub.130 neil@master:/home/neil/.ssh
(可以直接将三台机器的COPY到主机，然后再从主机COPY到第一台虚拟机上),ctrl+h显示隐藏文件

4.把所有机器的公钥(4个)，放在四个虚拟机文件中每一台机器上操作下面四句，合并authorized_keys）
cat ~/.ssh/id_rsa.129.pub >> ~/.ssh/authorized_keys
cat ~/.ssh/id_rsa.130.pub >> ~/.ssh/authorized_keys
cat ~/.ssh/id_rsa.131.pub >> ~/.ssh/authorized_keys
cat ~/.ssh/id_rsa.132.pub >> ~/.ssh/authorized_keys

5.验证 ssh hadoop101 发现无效，提示还是需要密码,如下图两行：
neil@ubuntu:~$ ssh 192.168.18.130
neil@192.168.18.130’s password:

6.修改authorized_keys的权限， 组用户不能有 写（W）权限， 不然ssh 由于安全问题不生效
authorized_keys 权限改为 644 就OK
先切换到目录下
cd ~/.ssh
命令 chmod g-w authorized_keys 这句话是修改文件为只读模式

然后分发给其他三台机器（同4，COPY出来再COPY进去）
scp -r ~/.ssh/authorized_keys hadoop@hadoop101:/home/hadoop/.ssh
scp -r ~/.ssh/authorized_keys hadoop@hadoop102:/home/hadoop/.ssh

现在测试连接其他三台机器
ssh slave1
ssh slave2
ssh slave3
都可以，但都会出现一个输入YES/NO的选项，这是因为KEY被修改后，他每次都会提示，只要输入一个yes就可以了
如果不想一直这样，可以在输入SSH后面加上
ssh -o StrictHostKeyChecking=no 192.168.18.130 就行了，
或者永久的修改，在
/etc/ssh/ssh_config文件（或$HOME/.ssh/config）中的配置，添加如下两行配置：
StrictHostKeyChecking no
UserKnownHostsFile /dev/null