(注:本内容已迁移到最新博客,地址:http://www.jmatrix.org/bigdata/80.html)
出于种种原因,想要搭建一个小集群,来搞搞数据处理。
1、安装ubuntu10.04
为了操作的简便,在所有机器上创建相同用户名和相同密码的用户。本例创建了相同的用户ibm。
修改机器名:$ hostname 机器名。(注:重启ubuntu后,hostname会变为原来的默认值,所以重启电脑后记得把hostname改回来,免得与下面设置的/etc/hosts文件不一致!)
在/etc/hosts 中添加机器名和相应的IP:
127.0.0.1 localhost
125.216.227.182 ibm
125.216.227.53 ibm00
2、开启ssh 服务
注意:自动安装openssh-server 时,先要进行sudo apt-get update 操作。
安装openssh-server:$ sudo apt-get install openssh-server
3、建立ssh 无密码登录
(1)在NameNode 上实现无密码登录本机:
$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa ,
直接回车,完成后会在~/.ssh/生成两个文件:id_dsa 和id_dsa.pub。这两个是成对出现,类似钥匙和锁。
再把id_dsa.pub 追加到授权key 里面(当前并没有authorized_keys文件):
$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys。
完成后可以实现无密码登录本机:$ ssh localhost。
(2)实现NameNode 无密码登录其他DataNode(不用设置DataNode无密码登录NameNode!):
把NameNode 上的id_dsa.pub 文件追加到dataNode 的authorized_keys 内( 以125.216.227.182节点为例):
a. 拷贝NameNode 的id_dsa.pub 文件: