Hadoop单机模式的配置与安装
版权所有
前言:
由于Hadoop属于java程序,所以,安装Hadoop之前需要先安装jdk。
对于hadoop0.20.2的单机模式安装就需要在一个节点(一台主机)上运行5个节点。
分别是:
JobTracker:负责Hadoop的Job任务分发和管理。
TaskTracker:负责在单个节点上执行MapReduce任务。
对于Hadoop里面的HDFS的节点又有
NameNode:主节点,负责管理文件存储的名称节点
DateNode:数据节点,负责具体的文件存储节点。
由于HDFS中NameNode非常繁忙,容易产生故障。说以对于HDFS文件系统来说,需要一个节点随时给他复制编辑到名称节点NameNOde里面去。这样的一个类似于备份的节点叫做SecondaryNameNode。
所以对于Hadoop来说单机模式部署时
JobTracker
TaskTracker
NameNode
SecondaryNameNode
DateNode
这样的5个节点都只能安装在一台主机上。
很显然,在单机模式,里面数据如果自动做备份存储多份就没有意义。所以在单机模式和伪分布式模式里面数据只需要存储一份就可以了。但在完全分布式环境里面hadoop最少有三个节点(三台主机)。
完全分布式。最少要有三个节点(三台主机)
一个节点用来做:NameNode和JobTracker
一个节点用来做:SecondaryNameNode,随时用来编辑日志,完成向NameNode之间的合并。
一个节点用来做:DateNode,存储数据。
虽然三个节点组成的Hadoop并不能算完全分布模式。但已经具备了hadoop的基本构架了。随时可以增加其他节点。因此可以实现工作的节点越多,其hadoop的调度越强大。为了Hadoop能正常运行,Hadoop为每一个进程默认启动了1G的内存,当然这并不影响我们在虚拟机上模式实现。这1G的内存只是它最大能用到的是1G的内存。所以在正在的Hadoop运行时,你必须要保证Hadoop的物理资源要足够才行。
Hadoop的单机模式安装。
一般来说Hadoop都是别人编译好的版本。直接解压缩,然后过去启动就行了。
本次安装Hadoop所需要的基本工具。
hadoop-0.20.2-cdh3u4.tar.gz
jdk-7u76-linux-x64.tar.gz
注意:Hadoop的版非常多,每种版本之间差异特别大,一般每个版本都会对应特定的Jdk版本。
第一步:解压安装包到指定位置
[root@gdy01gandian]# tar -xf jdk-7u76-linux-x64.tar.gz -C /usr/gd/
[root@gdy01gandian]# tar -xf hadoop-0.20.2-cdh3u4.tar.gz -C /usr/gd/
注意:这里的/usr/gd/目录为本人已经提前创建好的目录,当然,你也可以选择自己创建好的其他目录。不过如果这里的目录改变了,下面后来的配置信息也要随着改变。
第二步