Hadoop单机模式的配置与安装

Hadoop单机模式的配置与安装

版权所有

前言：

         由于Hadoop属于java程序，所以，安装Hadoop之前需要先安装jdk。

         对于hadoop0.20.2的单机模式安装就需要在一个节点（一台主机）上运行5个节点。

分别是：

         JobTracker:负责Hadoop的Job任务分发和管理。

         TaskTracker：负责在单个节点上执行MapReduce任务。

对于Hadoop里面的HDFS的节点又有

         NameNode：主节点，负责管理文件存储的名称节点

         DateNode：数据节点，负责具体的文件存储节点。

         由于HDFS中NameNode非常繁忙，容易产生故障。说以对于HDFS文件系统来说，需要一个节点随时给他复制编辑到名称节点NameNOde里面去。这样的一个类似于备份的节点叫做SecondaryNameNode。

所以对于Hadoop来说单机模式部署时

         JobTracker

         TaskTracker

         NameNode

         SecondaryNameNode

DateNode

这样的5个节点都只能安装在一台主机上。

很显然，在单机模式，里面数据如果自动做备份存储多份就没有意义。所以在单机模式和伪分布式模式里面数据只需要存储一份就可以了。但在完全分布式环境里面hadoop最少有三个节点（三台主机）。

完全分布式。最少要有三个节点（三台主机）

         一个节点用来做:NameNode和JobTracker

         一个节点用来做：SecondaryNameNode，随时用来编辑日志，完成向NameNode之间的合并。

         一个节点用来做：DateNode,存储数据。

虽然三个节点组成的Hadoop并不能算完全分布模式。但已经具备了hadoop的基本构架了。随时可以增加其他节点。因此可以实现工作的节点越多，其hadoop的调度越强大。为了Hadoop能正常运行，Hadoop为每一个进程默认启动了1G的内存，当然这并不影响我们在虚拟机上模式实现。这1G的内存只是它最大能用到的是1G的内存。所以在正在的Hadoop运行时，你必须要保证Hadoop的物理资源要足够才行。

 

Hadoop的单机模式安装。

一般来说Hadoop都是别人编译好的版本。直接解压缩，然后过去启动就行了。

本次安装Hadoop所需要的基本工具。

hadoop-0.20.2-cdh3u4.tar.gz

jdk-7u76-linux-x64.tar.gz

注意：Hadoop的版非常多，每种版本之间差异特别大，一般每个版本都会对应特定的Jdk版本。

 

第一步：解压安装包到指定位置

[root@gdy01gandian]# tar -xf jdk-7u76-linux-x64.tar.gz -C /usr/gd/

[root@gdy01gandian]# tar -xf hadoop-0.20.2-cdh3u4.tar.gz -C /usr/gd/

注意：这里的/usr/gd/目录为本人已经提前创建好的目录，当然，你也可以选择自己创建好的其他目录。不过如果这里的目录改变了，下面后来的配置信息也要随着改变。

第二步