先写完全分布式,在写伪分布 :
hadoop2.6.1 完全分布模式
三台虚拟机进行完全分布式部署:
master:ip 192.168.0.162 hostname lin162
slaves: ip 192.168.0.163 hostname lin163
slaves: ip 192.168.0.164 hostname lin164
安装步骤:
1、安装jdk 配置环境变量
2、配置ssh
若系统没有装配ssh 则使用下面语句安装ssh:
$ sudo apt-get install openssh-server $ ps -e|grep ssh出现以下语句证明成功安装 2228 ? 00:00:00 ssh-agent 5027 ? 00:00:00 sshd
$ ssh-keygen -t rsa
$ cd .ssh $ cp id_rsa.pub authorized_keys
三台机器分别执行此命名 ,然后
把每个节点的authorized_keys组合成一个大文件,然后分别覆盖到每个节点的authorized_keys
3、配置hosts和hostname
$ sudo vim /etc/hostname
三个电脑分别修改为lin162,lin163 ,lin164 (根据自己情况进行修改)
配置host
把IP地址对应到hostname
$ sudo vim /etc/hosts
三个电脑分别修改:
127.0.0.1 localhost
192.168.0.162 lin162
192.168.0.163 lin163
192.168.0.164 lin164
4、配置hadoop 相关文件
hadoop版本下载地址:
http://hadoop.apache.org/releases.html
选择自己需要的版本进行下载:
需要修改的文件有:
(1) 、hadoop-env.sh 修改以下配置项 (java环境)
export JAVA_HOME=/usr/soft/jdk1.7.0_79