搭建完全分布式

本人配置完全分布式的环境是 CentOS7+hadoop2.7.2+jdk1.7
1、准备3台客户机（关闭防火墙、静态ip、主机名称）
1）、为什么关闭防火墙
集群都是内网搭建的，对外还有一个服务器，那个服务器有防火墙，由它来访问内网集群，如果内网内开启防火墙，内网集群通讯会出现很多问题

2、安装jdk和hadoop
上一篇博客已经介绍了jdk、hadoop的安装，我们现在只在一台虚拟机尚安装了jdk以及hadoop，现在我们将第一台虚拟机中的文件复制到另外两台

3、配置环境变量（第一台机器已经配置完了，这里就直接复制就好了）
[root@jianghong100 /]# scp -r /opt/module/ root@jianghong101:/opt
[root@jianghong100 /]# scp -r /opt/software/ root@jianghong101:/opt
[root@jianghong100 /]# scp -r /opt/module/ root@jianghong102:/opt
[root@jianghong100 /]# scp -r /opt/software/ root@jianghong102:/opt
同时将/etc/profile文件复制到另外两台虚拟机或者使用notepad++工具逐一复制

4、安装ssh（免密登录）
1）配置ssh
1、基本语法
ssh 另一台电脑的ip地址
2、ssh连接时出现Host key verification failed的解决方法
[root@jianghong102 opt]# ssh 192.168.226.137(目标虚拟机的ip地址)
The authenticity of host ‘192.168.1.103 (192.168.1.103)’ can’t be established.
RSA key fingerprint is cf:1e??d7:d0:4c:2d:98:60:b4:fd:ae:b1:2d:ad:06.
Are you sure you want to continue connecting (yes/no)?
Host key verification failed.
3、解决方案如下：直接输入yes
2）无密钥配置
1、进入到我的ssh目录
cd .ssh/
2、生成公钥和私钥
ssh-keygen -t rsa
然后敲（三个回车），就会生成两个文件id_rsa（私钥）、id_rsa.pub（公钥）
3、将公钥拷贝到免密登录的目标机器上
ssh-copy-id 目标机器的ip地址

免密登录原理

3）.ssh文件夹下的文件功能解释
known_hosts记录ssh访问过计算机的公钥(public key)
id_rsa：生成的私钥
id_rsa.pub：生成的公钥
authorized_keys ：存放授权过的无秘登录服务器的公钥

5、配置集群
1）集群部署规划
2）配置文件
配置文件在/opt/module/hadoop-2.7.2/etc/hadoop
1、core-site.xml
将配置信息写到当中

    <!-- 指定HDFS中NameNode的地址 -->
      <property>
      <name>fs.defaultFS</name>
      <value>hdfs://jianghong100:9000</value>
      </property>
 	<!-- 指定hadoop运行时产生文件的存储目录 -->
     <property>
     <name>hadoop.tmp.dir</name>
     <value>/opt/module/hadoop-2.7.2/data/tmp</value>
     </property>

2、Hdfs
hadoop-env.sh
export JAVA_HOME=/opt/module/jdk1.7.0_79
hdfs-site.xml

 <configuration>        
 <!-- 集群副本数 -->
 <property>
 <name>dfs.replication</name>       
 <value>3</value>
 </property>
 <!-- 指定HDFS中SecondaryNameNode的地址 -->
 <property>
 <name>dfs.namenode.secondary.http-address</name>
 <value>jianghong102:50090</value>
 </property>
 </configuration> 

slaves（设置数据节点， 是帮助namenode节点识别datanode节点位置的一个文件）

<!-- 三台虚拟机的主机名称 -->
   jianghong100
   jianghong101
   jianghong102

3）、yarn
yarn-env.sh
export JAVA_HOME=/opt/module/jdk1.7.0_79
yarn-site.xml

  <configuration>
  <!-- Site specific YARN configuration properties -->
  <!-- reducer获取数据的方式
  <property>
  <name>yarn.nodemanager.aux-services</name>
  <value>mapreduce_shuffle</value>
  </property>
  <!-- 指定YARN的ResourceManager的地址 -->
  <property>
  <name>yarn.resourcemanager.hostname</name>
  <value>jianghong102</value>
  </property>
  </configuration>

4)、mapreduce
mapred-env.sh
export JAVA_HOME=/opt/module/jdk1.7.0_79
mapred-site.xml（查询目录文件叫mapred-site.xml.template，我们自己更改下名字）

 <configuration>
 <!-- 指定mr运行在yarn上 -->
 <property>
 <name>mapreduce.framework.name</name>
 <value>yarn</value>
 </property>
 </configuration>
 <!-- 指定mr运行在yarn上 -->
 <property>
 <name>mapreduce.framework.name</name>
 <value>yarn</value>
 </property>
 </configuration>

3、在集群上将所有文件复制到另外两台虚拟机
[root@jianghong100 /]# scp -r /opt/module/hadoop-2.7.2/etc root@jianghong101:/opt/module/hadoop-2.7.2/etc
[root@jianghong100 /]# scp -r /opt/module/hadoop-2.7.2/etc root@jianghong102:/opt/module/hadoop-2.7.2/etc

4、查看文件分发情况
进入虚拟机的/opt/module/hadoop-2.7.2/etc/hadoop 查看salve文件中是否有三台虚拟机的主机名称

5、启动测试集群
1）、启动集群
注！！！！！！！！在namenode所在的虚拟机上启动
1、如果集群是第一次启动，需要格式化namenode
[root@jianghong100 hadoop-2.7.2]# bin/hdfs namenode -format
2、启动HDFS：
[root@jianghong100hadoop-2.7.2]# sbin/start-dfs.sh
[root@jianghong100hadoop-2.7.2]# jps
4166 NameNode
4482 Jps
4263 DataNode
[root@jianghong101 桌面]# jps
3218 DataNode
3288 Jps
[root@jianghong102桌面]# jps
3221 DataNode
3283 SecondaryNameNode
3364 Jps

3、启动yarn
注！！！！！！！！在ResourceManger所在的虚拟机尚启动yarn
sbin/start-yarn.sh
注意！！！！！！！！！！！！！！
Namenode和ResourceManger如果不是同一台机器，不能在NameNode上启动 yarn，应该在ResouceManager所在的机器上启动yarn。

致此我们的完全分布式就搭建完成了，网上的搭建文章有很多，但是还是要写一下，就当自己学习记一个笔记了，如果有那里写的不对，请多指教，谢谢大家