eclipse远程连接hadoop_搭建Hadoop分布式集群（二）

接昨天的文章，我们今天继续完成完全分布式集群的搭建，在开始搭建之前我们需要新建一个普通用户，因为安装包一般都放在普通用户的家目录下，不会放到root用户的家目录下。

给普通用户添加sudo权限Vim /etc/sudoers

这里退出一定要用强制保存退出命令“:wq!”，否则无法退出。

---

• 接下来开始安装JDK

1、检查是否已存在jdk，执行命令：rpm -qa | grep jdk2、如果存在的话，我们需要先确定一下版本，如果可以，继续保留，如果想卸载重新安装的话，执行命令：rpm -e –nodeps jdk名称3、上传安装包，可以根据自己已有的远程工具自行上传，老李这里使用的secureCRT，在输入框内cd到要放置安装包的路径下，执行alt+p即可进入ftp上传通道，直接将安装包拖拽到对话框内即可。如图：

使用同样的方法，我们先把hadoop的压缩包也先放置在相应路径下。4、解压安装包这个比较简单，执行命令：sudo tar -zxvf 压缩包名，解压后出现两个文件夹，如图：

---

• 配置环境变量

执行命令：Sudo vim /etc/profile，进入编辑配置文档页面，我们在配置文件中添加如下内容：Export JAVA_HOME=/home/Hadoop/apps/jdk1.8.0_73Export PATH=$PATH:$JAVA_HOME/bin如图：

配置完后记得source一下。(source命令用于重新执行刚修改的初始化文件，使之立即生效不必注销重新登陆)

然后输入java -version验证是否安装完成

---

• 配置免密登陆

我们需先执行命令：ssh -keygen，连续回车，生成秘钥

然后切换到.ssh路径下，cd.ssh/

执行命令：ssh-copy-id hadoop01和ssh-copy-id hadoop03把秘钥发送到对应的虚拟机上。这期间要输入“yes”进行确认，并且输入对方的密码确认

然后在其他的虚拟机上也执行相应的操作，把秘钥发送到另外的两台机器上。当所有的都操作完成，我们怎么验证呢？我们可以在01的机器上ssh远程连接02或03，如图：

然后“exit”正常退出就行了。

---

• 安装hadoop

刚才我们在上传jdk的时候一块上传了hadoop的安装包，并进行了解压。现在我们直接配置hadoop的环境变量即可，我们需先切换到hadoop的解压包下，通过pwd获取路径，用于环境变量的配置。

同样，进入/etc/profile文档进行编辑，Sudo vim /etc/profile，然后敲入如下内容：Export HADOOP_HOME=/home/hadoop/apps/hadoop-2.7.7ExportPATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

这里为什么除了bin还要添加sbin作为路径呢，那是因为hadoop的命令不仅仅存在bin目录下，sbin目录下也有命令文件。

同样编辑完要source一下。

完成后，我们输入hadoop version进行验证。

注意，这里只需要在其中一台虚拟机上安装即可，等我们接下来配置完后再将配置完的hadoop安装包和相应配置文件发送到其他虚拟机即可。

---

• 修改Hadoop配置文件(重点来了！！敲黑板)

1、配置hadoop-env.sh文件，我们先切换到/home/hadoop/apps/hadoop-2.7.7/etc/hadoop路径下，在hadoop-env.sh里边添加jdk的环境变量路径，export JAVA_HOME=/home/hadoop/apps/jdk1.8.0_73，如图：

2、然后配置hadoop的核心配置文件core-site.xml，在文档的中新增如下内容：

<property>    <name>fs.defaultFSname><value>hdfs://hadoop01:9000value>property> <property>    <name>hadoop.tmp.dirname><value>/home/hadoop/data/hadoopdatavalue>property>

3、接下来配置hdfs-site.xml文件，我们在文件中添加如下内容：

<property><name>dfs.namenode.name.dirname><value>/home/hadoop/data/hadoopdata/namevalue><description>namenode管理数据存储目录description>property> <property><name>dfs.datanode.data.dirname><value>/home/hadoop/data/hadoopdata/datavalue><description>datanode的数据存储目录 真实数据description>property> <property><name>dfs.replicationname><value>2value><description>数据存储副本个数description>property> <property><name>dfs.secondary.http.addressname><value>hadoop03:50090value><description>secondarynamenode运行节点的信息，和 namenode 不同节点description>property>

这个文档主要配置了secondnamenode节点的运行位置，数据存储副本个数、datanode数据存储的路径，以及主节点的存储路径的信息。4、我们先将mapred-site.xml.template复制为mapred-site.xml，执行命令：sudo cpmapred-site.xml.template mapred-site.xml然后修改mapred-site.xml，进行mapreduce的配置，加入如下内容：

<property><name>mapreduce.framework.namename><value>yarnvalue>property>

这个配置主要是说明MapReduce资源调度由yarn进行。

5、接下来修改yarn-site.xml进行yarn的相关配置，我们添加如下内容：

<property><name>yarn.resourcemanager.hostnamename><value>hadoop02value>property><property><name>yarn.nodemanager.aux-servicesname><value>mapreduce_shufflevalue><description>YARN集群为 MapReduce 程序提供的 shuffle 服务description>property>

6、最后配置datanode从节点，编辑slaves文件并添加所有的虚拟机，如图：

这样hadoop的基本配置就差不多了，我们在第一篇的时候发过一张图是对hadoop分布式系统的规划方案，现在我们在看一下，是否与我们上边配置的一致，主节点放置在了hadoop01上，而secondnamenode我们放置在了虚拟机03上面，我们又把hadoop的资源调度框架yarn配置在了虚拟机02上，datanode节点我们同时放在了三台虚拟机上，并且配置了数据存储副本个数为2。如图：

---

• 将hadoop的配置完成的安装包远程发送到其他节点
  执行如下命令：

scp -r hadoop-2.7.6 hadoop02:/home/hadoop/apps/scp -r hadoop-2.7.6 hadoop03:/home/hadoop/apps/如果其他虚拟机没有配置/etc/profile文件，进行hadoop环境变量和jdk环境变量的配置，也可以使用scp -r 文件 目标地址:/目标路径的命令进行发送。发送完后我们需执行下sources命令，然后向所有的虚拟机发送hadoopversion的命令确认是否所有的虚拟机都安装完成。

---

• 格式化  hdfs

在namenode主节点所在的虚拟机进行hdfs的格式化，执行如下命令：hadoop namenode -format或hdfs namenode -format(这里要注意，格式化不成功不能启动)

---

• 启动hadoop

我们可以在主节点执行命令：start-dfs.sh进行集群的启动，启动完成后，我们需要到虚拟机02上启动yarn服务，执行命令：start-yarn.sh然后我们可以在主节点上执行命令jps查看启动进程进行验证。

使用网页查看方式后进行验证，在浏览器输入http://hadoop01:50070进行查看