Hadoop2.6.1全分布式集群搭建

一：master配置

1. 新建tmp目录

2. master,slave配置

Master：

 

Slave：

 

 

3. core-site.xml配置

 

4.mapred-site.xml配置

 

5. hdfs-site.xml配置

 

6. hadoop-env.sh配置

 

 

7. 本地网络配置：

Vim /etc/hosts

 

配置临时生效:

 

永久生效：

 

 

检查：

 

二：slave配置:

1. 将master解压后配置的hadoop copy到两个slave中

2. 本地网络配置：

 

 

临时生效：

 

永久生效

 

 

 

三：注意事项：

1. 网络传输。关闭防火墙：

 

检查：

（空，是关闭）

2. 避免网络传输出现问题难排查：

 

检查：

（关闭状态）

四：各个机器节点之间通过ssh访问无需密码的配置：

1. 在master节点执行：

 

2.拷贝公钥到私钥

 

 

3. 到slave机器中，将公钥拷贝到master的authorized_keys中：

 

 

 

4. 将这个文件拷贝到slave1和slave2中：

 

（互信关系建立）Ssh免登陆检查：

 

 

五，启动集群：

1. 格式化：

 

2. 启动命令：

 

3. 检查：

Master节点：

Slave:

4. hadoop命令测试：

查看，上传文件，读取文件

 

 

Chkconfig查看所有服务自启的配置

Chkconfig iptables off设置服务的自启