hadoop配置集群的心得

1. 集群机器要求是同一个局域网；
2. master发送密钥给slave后，slave还需：
   chmod 700 ~/.ssh（修改.ssh权限）
   cat ~/id_rsa.pub >> ~/.ssh/authorized_keys
   chmod 600 ~/.ssh/authorized_keys
   sudo vi  /etc/ssh/sshd_config #修改配置
       RSAAuthentication yes # 启用 RSA 认证
       PubkeyAuthentication yes # 启用公钥私钥配对认证方式
       AuthorizedKeysFile .ssh/authorized_keys # 公钥文件路径（和上面生成的文件同）
3. 搭建SSH免密码登陆应该是同名的用户名，才能实现ssh slave1；否则只能是ssh 用户名@slave1，但是这样hadoop自己没有这么智能；
4. 把master的hadoop文件夹发送给slave们，但是如果slave的机器和master的机器的JAVA_HOME路径不一样的话，需要修改slave里的yarn-env.sh，hadoop-env.sh，hadoop-config.sh里面的JAVA_HOM
5. 配置过程主要参考： http://dblab.xmu.edu.cn/blog/install-hadoop/