史上超详细基于Ubuntu搭建分布式Hadoop教程

在进行此教程之前，请确保伪分布式Hadoop已搭建完成。若没有搭建完成，请浏览上一篇博文

1、环境说明

• Ubuntu14.0.4
• Hadoop2.6.4
• java-7-openjdk-amd64
• VirtualBox
• 四个节点:master node1 node2 node3 内存分别为4GB 2GB 2GB 2GB
• 伪分布Hadoop主机，用于复制

• 2、设置node1主机

• 在原主机上单击右键复制如下图所示:

• 
  注意MAC地址的选择，一定要选择重新生成所以MAC地址

• 设置网卡,网卡1不用设置，网卡2设置为host-only如下图示:

• 

• 启动node1,编辑网络配置文件.

• sudo gedit /etc/network/interfaces
  

  
  这里可以算是一个坑点吧.这条命令在Ubuntu18/16 无效，切记我踩过的坑啊，希望你们不要踩!!!

• 编辑主机名

• sudo gedit /etc/hostname
  

  

• 配置各节点的主机名与IP地址,如下图所示:

• sudo gedit /etc/hosts
  

  

• 配置core-site.xml，将之前的localhost改为master

• 

  配置yarn-site.xml

  

• 编辑mapred-site.xml

• 

• 编辑hdfs-site.xml

• 

• 重启虚拟机，然后ifconfig查看IP是否与hosts里面配置的一样(inet地址)

• 

  3、配置node2、node3主机

• 复制node1为node2，MAC地址生成与网卡配置同上面一样
• 修改IP，与上面配置的对应就可以了

• 

• 修改主机名字，与上面配置的对应即可

• 

• 重启查看IP

• 

• node3主机的配置与上面操作类似，不做累述

• 4、配置master主机

• 复制过程，网卡配置，IP配置，主机名称修改，查看IP不做累述
• 编辑hdfs-site.xml，一定要注意目录名称，之前的是datanode目录，现在是namenode

• 

• 编辑masters文件

• 

• 配置slaves文件

• 

  5、细节处理

• 启动四台虚拟机，slaves主机可以不用输入密码进入系统，只需master主机输入密码进入系统

• 

• 远程连接node1，创建hdfs、datanode目录，并修改权限. node2、node3操作类似

• 
  
  

• 在master主机上创建hdfs、namenode目录，并修改权限

• 

• 格式化namenode

• 

• 启动Hadoop

• 

• 在master上查看进程

• 

• 在node1上查看进程

• 

• 在node2上查看进程

• 

• 在node3上查看进程

• 

• 访问localhost:8088查看节点情况

• 

  至此完全分布式Hadoop已经搭建完成，在这里做个小小的总结:从伪分布到完全分布式，中间我重装了无数次，但是最终还是搭建完成了。其实整个过程不难，难的是你愿不愿意不断尝试。在搭建完全分布式的时候，一定要理解namenode和datanode之间的关系，不要像我之前那样闹个乌龙:我以为我master的datanode没有了，然后去网上一搜"datanode没有了怎么办"，恰好这个问题可以搜出答案,然后我尝试了那个方法但没有效果，我就重装了。但是，只要你想明白了Hadoop namenode和datanode的关系之后，你就会发现这是正常现象。所以，当我们遇到问题的时候，不仅要不断尝试，而且最重要的是先对问题进行分析再对症下药。