系统环境准备好后,还需要进行配置和hadoop软件的下载安装。
1、 ssh配置
这里的ssh配置是指ssh 配置无密钥登录,原因是因为hadoop集群环境下,有大量节点机器,所以配置无密钥登录。
计划: master 192.168.136.140 , slave1 192.168.136.151, slave2 192.168.136.152
1.1: 系统主机和主机名配置
修改系统的主机名,比如本人实践的主机,设置为master.hadoop
需要修改2个文件, 修改操作使用 root用户
/etc/sysconfig/network
里面有一行 HOSTNAME=localhost.localdomain (如果是默认的话),修改 localhost.localdomain 为你的主机名:master.hadoop。
/etc/hosts
打开该文件,会有一行 127.0.0.1 localhost.localdomain localhost 。其中 127.0.0.1 是本地环路地址, localhost.localdomain 是主机名(hostname)。
localhost 是主机名的别名(alias),它会出现在Konsole的提示符下。
在最后添加:
192.168.136.140 master.hadoop
其中192.168.136.140 是自己本机的ip。
将上面两个文件修改完后,并不能立刻生效。在命令行执行reboot命令后,重新登录,重启系统会得到新的主机名。
重新登陆后,在终端命令行执行:
hostname
会显示当前的主机名。
1.2 配置ssh 无密钥登录
首先:修改系统配置
用root权限登录: vi /etc/ssh/sshd_config
找到以下内容,并去掉注释符”#“
RSAAuthentication yes
PubkeyAuthentication yes
AuthorizedKeysFile .ssh/authorized_keys
保存退出。 重要的是进行服务重启
service sshd restart
其次:设置密钥文件,以下操作为hadoop用户
1) 先确定有.ssh目录,该目录为隐藏目录: ls -a /home/hadoop
如果现实.ssh目录则表示已经装过ssh,否则要先安装ssh
2) 生成密钥
ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
ssh-keygen:生成密钥命令
-t dsa : 生成密钥的类型是dsa
-P : ‘’表示空
-f: 表示密钥文件
3)追加密钥到key中
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
4) 验证:命令行执行命令:ssh master.hadoop
[hadoop@master ~]$ ssh master.hadoop
Last login: Sun Jun 12 06:45:38 2016 from master.hadoop
出现上面提示表示成功
最后: 设置另外2台机器的ssh。
设置好后,分别在本机的authorized_keys里添加其它两台机器的密钥。
举例: 将salve1的密钥添加到 master去
在salve1上,执行下面命令,
cat ~/.ssh/id_dsa.pub | ssh hadoop@master.hadoop 'cat - >> ~/.ssh/authorized_keys'
这句话的意思,cat本地的 id_dsa.pub 通过管道方式,ssh到master ,并追加到 authorized_keys
2、 hadoop下载和安装
hadoop下载:
登录官网:http://hadoop.apache.org/
点击左边的 Download Hadoop
从打开的新网页的releases进入下载版本
我选择的是 binary的hadoop-2.6.4.tar版本。
上传到master.hadoop机器的 /opt/hadoop 目录下,解压。 gz 文件用 gzip解压,然后再用tar -vxf xxx.tar 来解压。
解压后,需要修改目录权限
root用户下: chown -R hadoop:hadoop /opt/hadoop