有些设置与之前写的hadoop配置相同部分不再赘述
hadoop-env.sh,core-site.xml,mapred-site.xml,hdfs-site.xml,master,slave几个文件,master和slave中配置都是一样的。
目录
一、环境准备
二、环境配置
1、配置SSH
2、配置jdk,设置环境变量
3、hadoop配置
3.1 配置master上的slave文件
3.2 配置hdfs-site.xml文件
3.3 配置slaves
3.4 验证
一、环境准备
redhead 6.5: master 192.168.179.141 主机名 localhost
centOS 6.7: slave1 192.168.179.142 主机名 slave1
centOS 6.7: slave2 192.168.179.143 主机名 slave2
二、环境配置
1、配置SSH
- 三台机器都要配置SSH执行下面语句 一路回车即可
#ssh-keygen -t rsa
- 将Master的公钥内容复制到slave的公钥中,再授权
sudo scp authorized_keys root@slave1:~/.ssh --sudo scp authorized_keys 远程主机用户名@远程主机名或ip:存放路径
[root@slave1 .ssh]# vi id_rsa.pub
[root@slave1 .ssh]# cat id_rsa.pub >> authorized_keys
[root@slave1 .ssh]# chmod 600 authorized_keys
[root@slave1 .ssh]# chmod 700 ../.ssh
- 在master上验证
#ssh slave1h --首次需要输入密码 再次登录则不需要密码了。
2、配置jdk,设置环境变量(同伪分布式)
3、hadoop配置
hadoop-env.sh,core-site.xml,mapred-site.xml,hdfs-site.xml,master,slave几个文件,master和slave中配置都是一样的,配置完master后,可以将hadoop包,直接拷贝到其他机器中
与伪分布式不同的配置地方
3.1 配置master上的slave文件
将master、slaves都添加进去
3.2 配置hdfs-site.xml文件
配置副本的数量,每个块有几个副本,有两个slaves ,value这里是2
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
3.3 slaves中配置
- 拷贝master的hadoop包,到slaves
sudo scp -r hadoop root@slave1:/opt
- 执行source、格式化
3.4 验证
在master中启动hadoop,在slaves中执行jps查看
如此便成功了。不过安装环境真是心累。。