Cent OS 7环境下搭载hadoop2.7集群环境

卸载centos 7系统自带的jdk1.7，安装最新的jdk1.8

jdk1.8下载地址：http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

解压安装命令：tar –zxvf jdk名

配置java环境生效：

Java –version检验安装成功

为两台虚拟机分别设置固定ip

Ping 本机ip成功

修改hosts设置主从节点master和slave1

*设置免密码登陆*
首先创建mkdir ~/.Ssh
设置 . /ssh文件的权限为700方面远程免密码登陆
然后执行ssh-keygen –t dsa生产私钥id_rsa和公钥id_rsa.pub两个文件
生产之后一路回车生产密钥
然后将该密钥作为认证，进行访问授权
cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys
赋予authorized_keys 644权限
即：chmod 644 /.Ssh/authorized_keys

首先尝试本地登陆
Ssh localhost
如果登陆失败就删除ssh文件下的known_hosts文件，重启就可以。

然后将~/.ssh目录下的文件复制到所有节点
Scp –r /.ssh node2 （如节点：node2）

最后直接登陆其他节点，如果两两之间登陆成功则表明配置成功。

的如果远程登陆失败就i编辑/etc/ssh/sshd_config

找到以下内容，并去掉注释#

RSAAuthentication yes
PubkeyAuthentication yes
AuthorizedKeysFile .ssh/authorized_keys

编辑完：wq保存

登陆成功。以同样的方法设置slave1结点实现无密码登陆

Hadoop安装

Hadoop下载地址：http://mirror.bit.edu.cn/apache/hadoop/common/ 选择hadoop-2.7.5下载
下载hadoop压缩包.tar.gz文件，然后解压缩到/home/xiaoli文件下，剪切文件到hadoop目录下，然后配置hadoop的hadoop_home，随后执行 ./bin/hadoop version查看hadoop版本信息

分别配置sbin目录下的core-site.xml文件，hdfs-site.xml文件和mapred-site.xml

是mapreduce任务的配置，由于hadoop2.x使用了yarn框架，所以要实现分布式部署，必须在mapreduce.framework.name属性下配置为yarn。mapred.map.tasks和mapred.reduce.tasks分别为map和reduce的任务数
配置core-site.xml

配置hdfs-site.xml文件

配置mapred-site.xml文件

Hadoop复制到其他节点

配置其他节点的hadoop环境

初始化节点

格式化成功，查看到Exiting with status 0表示格式化成功

在slave1节点输入 jps查看启动情况

在master节点输入jps

在浏览器中输入http://本机ip:50070查看hadoop启动情况

输入http://master:8088 查看hdfs启动情况

表示hadoop部署成功！