hadoop-2.7.5（分布式集群搭建）

之前的都是在root用户下配置的，这个也可以在普通用户下配置，但需要给普通用户权限，否则有很多文件没有修改的权限，所以今天还是在root用户下配置，以后会待博主学习了会给同志们出一篇普通用户的。

接上一篇hadoop伪分布(上一篇博客一开始没注意安装成了最小版本的，要配置hadoop的不要安装最小版本)(8条消息) hadoop的伪分布环境搭建（hadoop-2.7.5）_qq_45672631的博客-CSDN博客

先说一下，hadoop其实在解压后（配置环境变量后）就可以使用，称为单机模式。如果不配置core-site.xml文件，则每次重启后数据都会丢失。分布式集群则是在配一台机子后通过克隆，然后修改主机名ip，实现集群（3个机子）。

在原有的基础上，许多简单的就不在赘述。

分布式集群的搭建，需要配置8个文件,其实5个文件也行，有3个是声明环境变量的。

将分为三个步骤：配置、克隆、测试一下wordcount，以及计算pi。

一、配置

需要配置的8个文件：hadoop-env.sh、core-site.xml、hdfs-site.xml、mapred-env.sh

、yarn-site.xml、yarn-env.sh、vim slaves、mapred-site.xml(这个文件是没有的需要通知们将mapred-site.xml.template，复制一个并改名)。

1.编辑hadoop-env.sh(按i键进入编辑模式，移动方向键下移，到第25行修改，细心的同志，可以在xshell连接root户配置，可以在下面看到行列提示)

vim hadoop -env.sh

 2.编辑core-site.xml(这里和伪分布一样，后面克隆完后，以这台机子作为namenode的机子，后面克隆就不用改这里，而是需要修改主机名，与ip。)

vim core-site.xml

3.编辑hdfs-site.xml文件(这里就要开始修改了)

vim hdfs-site.xml

第一个因为有三个机子所以至少有3个副本，第二个所讲的是指将冷备份namenode放在那台机子上，端口也不是9000或8020.fsimage这个如果感兴趣的通知可以去中国慕课搜索大数据林子雨老师的纯干货。最后一个，和注释说的意思差不多，总之感兴趣的小伙伴，可以去了解一下。

 4.编辑mapred-env.sh文件(按i进入编辑模式，移动方向键下移到第16行修改。)

vim mapred-env.sh

5.编辑yarn-site.xml文件（第一个我也不太清楚，第二个是将yarn的放在wnd-1的机制上，相当于说&