(集群中的每一台机器都需要执行下面的操作)
1.添加组及在组中添加一个用户:
addgroup hadoop
adduser --ingroup hadoop hadoop(第一hadoop是组名,第二个hadoop是用户名)
2.配置ssh
ssh-keygen -t rsa(指定通过rsa算法创建公/私钥对;在要求输入保存key的文件路径时,直接点击“Enter”就行;在要求输入密码时,也直接点击“Enter”就行,这样就可以无密码登陆,因为hadoop集群中各个节点进行交互的时候,是通过无密码的ssh进行登陆的)
cp .ssh/id_rsa.pub .ssh/authorized_keys(把公钥复制到authorized_keys,authorized_keys用于保存其它主机的公钥)
通过
ssh localhost
测试现在是否可以无密码登陆到该机器。(
如果报下面的错误:
ssh:connect to host localhost port 22: Connection refused
可以用下面的命令察看运行的ssh相关进程:
ps -e|grep ssh
如果只看到ssh-agent进程,说明需要安装服务器进程,用下面的命令进行安装:
sudo apt-get install openssh-server
)
3.安装jdk
下载jdk,我下载的是jdk-7u67-linux-x64.tar.gz,并把它放在/home/hadoop下;解压该文件,得到文件夹:jdk1.7.0_67;设置JAVA_HOME,在.profile文件的最后加上这句:
export JAVA_HOME=/home/hadoop/jdk1.7.0_67
(参考:nutch相关框架视频教程)