基于hadoop2.2.0分布式搭建

部分信息显示不全，可参照附件文件**********

1. 集群主机ip

192.168.1.190  master

192.168.1.191  slave1

2. centos系统准备工作

* 安装 ssh: $ sudo yum install ssh

* 安装 rsync: $ sudo yum install rsync  // linux实现远程同步的软件

* ip配置

3. 服务器SSH无验证双向登陆打通配置

3.1. 配置服务器ip（此处省略）

3.2. 修改hosts

 $ sudo vi /etc/hosts

3.3. 修改hostname

$ sudo vi /etc/hostname

修改network文件: $ sudo vi /etc/sysconfig/network

3.4. 重启网络

$ service network restart

3.5. 设置远程无密码登录

$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa  //产生秘钥

$  cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys  //导入authorized_keys

$ cd ~/.ssh/   //切入master服务器 .ssh目录

$ scp authorized_keys hadoop@slave1:~/.ssh/authorized_keys_from_master

//进入 slave1 的.ssh目录，并将master目录下的authorized_keys存为slave1服务器目录/home/hadoop/.ssh/authorized_keys_from_keys文件

$ cat authorized_keys_from_master  >>  authorized_keys //文件追加到authorized_keys

$ chmod 600 authorized_keys   //修改权限为-rw------- root读写权限

$ chmod 700 /home/hadoop/.ssh/   //修改.ssh权限为root获得所有操作权限

 

修改完成后各个服务器节点 .ssh 结构为：

authorized_keys 文件权限为：

.ssh 文件夹权限为：

 

$ sudo vi /etc/ssh/sshd_config  //去掉下述红框注释，保存文件

$ service sshd restart  //重启ssh服务

 

【注意】：以上操作根据每台 Server 情况动作重复进行。

3.6. 测试是否配置成功

本机三种ssh登录测试(localhost, ip ,hostname)

服务器节点相互ssh无密码登录连接测试

【配置要点总结】

> 修改文件 :hosts hostname network

> 生成公钥私钥，节点相互拷贝

> 配置 sshd 文件

> 修改两个文件权限 authorized_keys与 .ssh

【参照文档】

http://www.aboutyun.com/thread-6487-1-1.html  Hadoop伪分布安装过程：单机环境搭建指南

http://www.aboutyun.com/blog-3779-85.html  CentOS6.4之图解SSH无验证双向登陆配置

4. 安装hadoop及配置hadoop集群

4.1. 下载hadoop

$ wget http://121.5.21.7/files/617800000336092D/www-eu.apache.org/dist/hadoop/common/hadoop-2.7.3/hadoop-2.7.3.tar.gz

4.2. 修改文件权限

$ chmod 770 hadoop-2.7.3.tar.gz   //-rwxrwx---<owner,ownerGrp,notOwnerGrp>

4.3. 解压文件并重命名

$ tar -zxvf hadoop-2.7.3.tar.gz

$ mv hadoop-2.7.3 hadoop   //重命名

4.4. 安装jdk配置环境变量

亲，不会百度吧，太晚了小编就不写了，好困

4.5.修改配置文件列表< 7个>：

~/hadoop-2.2.0/etc/hadoop/core-site.xml

~/hadoop-2.2.0/etc/hadoop/hdfs-site.xml

~/hadoop-2.2.0/etc/hadoop/hadoop-env.sh

~/hadoop-2.2.0/etc/hadoop/yarn-env.sh

~/hadoop-2.2.0/etc/hadoop/slaves

~/hadoop-2.2.0/etc/hadoop/mapred-site.xml

~/hadoop-2.2.0/etc/hadoop/yarn-site.xml

 

4.6. 修改hadoop配置文件

$ cd /home/hadoop/server/hadoop-2.7.3/etc/hadoop  //切换到配置文件目录下

$ vi core-site.xml  //修改sore-site.xml文件

 

【注意】

一定要注意目录一定要存在/home/hadoop/tmp/hadoop，文件夹权限为drwxrwxr-x

 

$ vi hdfs-site.xml  //修改hdfs-site.xml文件

 

【注意】

文件路径是否存在,文件权限为 drwxrwxr-x

 

$ vi hadoop-env.sh    //修改java_home变量值

$ vi yarn-env.sh   //修改java_home变量值

 

 

$ vi slaves   //保存所有slave节点

 

 

$ cp mapred-site.xml.template mapred-site.xml

$ vi mapred-site.xml

 

$ vi yarn-site.xml

 

4.7 拷贝master-hadoop至slave1

$ scp -r /home/hadoop/server/hadoop hadoop@slave1:~/server/

 

4.8 修改配置文件脚本

4.9 添加配置环境变量

$ vi ~/.bashrc

$ source ~/.bashrc

 

4.10 启动hadoop(master节点)

$ cd /home/hadoop/server/hadoop/bin

$ hadoop namenode –format

4.11 启动hdfs

$ cd /home/hadoop/server/hadoop/sbin

$ start-all.sh

查看master有如下启动进程

查看slave1有如下启动进程

启动成功

 

【参照文档】

 http://www.aboutyun.com/thread-7684-1-1.html