hadoop集群搭建前的准备工作

查看系统是64位还是32位：file /sbin/init
查看Hadoop版本 hadoop version

检查ssh server：ps -e | grep ssh
查看ssh服务有没有运行,如果有,可以看到类似以下内容:
2254 ? 00:00:00 sshd
若没有则安装ssh server：
root]#/etc/rc.d/init.d/sshd start
root]#service sshd start

安装jdk及配置环境变量：
解压32位或64位jdk到指定目录

打开/etc/profile（vi /etc/profile）
在最后面添加如下内容：

JAVA_HOME=/home/idata/jdk1.7.0_40
PATH=$JAVA_HOME/bin:$PATH
export PATH
source /etc/profile

验证是否安装成功：Java -version
通过scp将Java拷贝到其他节点。

修改Linux主机名：
显示主机名：[root@linuxsir01 ~]# hostname

vi /etc/sysconfig/network
NETWORKING=yes
HOSTNAME=THadoop9 ###主机名

/etc/hosts 将该文件scp到集群其他机器上
用hostname命令修改当前主机名，这样就可以不用重启也直接生效。
hostname THadoop1

ssh 免登陆
在所有机器上都生成私钥和公钥

ssh-keygen -t rsa #一路回车

需要让机器间都能相互访问，就把每个机子上的id_rsa.pub发给master节点，传输公钥可以用scp来传输。

ssh-copy-id -i .ssh/id_rsa.pub 用户名字@192.168.x.xxx

注意: ssh-copy-id 将key写到远程机器的 ~/ .ssh/authorized_key.文件中

scp ~/.ssh/id_rsa.pub Spark@master:~/.ssh/id_rsa.pub.slave1

在master上，将所有公钥加到用于认证的公钥文件authorized_keys中

cat ~/.ssh/id_rsa.pub* >> ~/.ssh/authorized_keys

将公钥文件authorized_keys分发给每台slave

scp ~/.ssh/authorized_keys spark@slave1:~/.ssh/

如果登陆测试不成功，则可能需要修改文件authorized_keys的权限（权限的设置非常重要，因为不安全的设置安全设置,会让你不能使用RSA功能 ）

chmod 600 ~/.ssh/authorized_keys

用户目录权限为 755 或者 700就是不能是77x
.ssh目录权限必须为755
rsa_id.pub 及authorized_keys权限必须为644

**

ssh免登陆，也得设置该台服务器的免登陆

**

http://chenlb.iteye.com/blog/211809

centos配置ssh免密码登录后仍要输入密码的解决方法
http://www.jb51.net/article/121180.htm