hadoop完全分布式集群安装

因为机器学习，接触到了数据挖掘；因为数据挖掘，接触到了大数据；因为大数据，接触到了hadoop。之前有过hadoop的简单了解，但都是基于别人提供的hadoop来学习和使用，虽然也很好用 ，终究不如自己的使用起来方便 。经过这两天参考大量网上的经验，终于成功的搭建了自己的hadoop完全分布式环境。现在我把所有的安装思路、安装过程中的截图以及对待错误的经验总结出来，相信安装这个思路去做，hadoop安装就不再是一件困难的事。
我自己是搭建的完全分布式的hadoop，就涉及到了创建若干个虚拟机并使它们能够互通。所以我整个hadoop安装能够分为三个独立的部分：1、linux 虚拟机详细搭建过程；2、hadoop完全分布式集群安装；3、hadoop 自带示例wordcount 的具体运行步骤。本文介绍第二部分。

1. Hadoop 介绍

Hadoop是APache软件基金会旗下的的开源分布式计算平台。以Hadoop 分布式文件系统HDFS(Hadoop Distributed File System) 和MapReduce 为核心，为用户提供了系统底层细节透明的分布式基础架构。
对于Hadoop集群来说，分为两大类角色：Master 和 Slave 。一个HDFS集群是由一个NameNode 和若干个DataNode 组成。其中NameNode 作为主服务器，管理文件系统的命名空间和客户端对文件系统的访问操作；集群中的DataNode 管理存储的数据。 MapReduce 框架是由一个单独运行在主节点的JobTracker和运行在每个从节点的TaskTracker 共同组成的。主节点负责调度构成一个作业的所有任务，这些任务分布在不同的从节点上。主节点监控从节点的执行情况，并且重新执行之前的失败任务。当一个Job被提交，JobTracker 接收到提交作业和配置信息之后，就会将配置信息等分发给从节点，同时调度任务并监控TaskTracker的执行。
从上面可以看出，HDFS和MapReduce 共同组成了Hadoop分布式系统体系结构的核心。HDFS 在集群上实现了分布式文件系统，MapReduce 在集群上实现了分布式计算和任务处理。HDFS 为MapReduce任务处理过程中提供了文件操作和存储等支持，MapReduce 在HDFS的基础上实现了任务的分发、跟踪、执行等操作，并收集结果，二者相互作用，完成了Hadoop分布式集群的主要任务。

2. 配置hosts文件

在上一篇文章中，我已经详细介绍了我的虚拟机搭建和配置过程。我一共使用了三个虚拟机，其中，一个作为Master ,二个作为Salve ,三个节点之间已经能够实现ping通。
先简单说明下配置hosts文件的作用，它主要用于确定每个结点的IP地址，master结点能快速查到并访问各个结点。在上述3个虚机结点上均需要配置此文件。由于需要确定每个结点的IP地址，所以在配置hosts文件之前需要先查看当前虚机结点的IP地址是多少，可以通过ifconfig命令进行查看，如本实验中，node1结点的IP地址为：

在获取到每个结点的IP地址后，就可以配置hosts文件了，hosts文件路径为 /etc/hosts，我的hosts文件配置如下，大家可以参考自己的IP地址以及相应的主机名完成配置
节点的IP地址分布如下所示：

这样在三个虚拟机上配置完成之后，我们再让他们相互连接时就不需要再输入ip地址了，而是直接输入主机名字，下面是我使用master去ping node1的情况

3. 建立Hadoop 运行账号

即为hadoop集群专门设置一个用户组及用户：

groupadd hadoop    //设置hadoop用户组
useradd –s /bin/bash –d /home/hadoop –m hadoop –g hadoop  //添加一个hadoop用户，此用户属于hadoop用户组
passwd hadoop   //设置用户登录密码

上述3个虚机结点均需要进行以上步骤来完成hadoop运行帐号的建立。

4. ssh 无密码验证配置

Master（NameNode | JobTracker）作为客户端，要实现无密码公钥认证，连接到服务器Salve（DataNode | Tasktracke