原文出自:http://blog.anxpp.com/index.php/archives/1036/
Hadoop单节点模式安装
官方教程:http://hadoop.apache.org/docs/r2.7.3/
本文基于:Ubuntu 16.04、Hadoop-2.7.3
一、概述
本文参考官方文档介绍Hadoop单节点模式(本地模式及伪分布式模式)安装(Setting up a Single Node Cluster)。
1、Hadoop安装的三种模式
(1)单机模式(standalone)
单机模式是Hadoop的默认模式。当首次解压Hadoop的源码包时,Hadoop无法了解硬件安装环境,便保守地选择了最小配置。在这种默认模式下所有3个XML文件均为空。当配置文件为空时,Hadoop会完全运行在本地。因为不需要与其他节点交互,单机模式就不使用HDFS,也不加载任何Hadoop的守护进程。该模式主要用于开发调试MapReduce程序的应用逻辑。
此程序一般不建议安装,网络上很少这方面资料。
(2)伪分布模式(Pseudo-Distributed Mode)
伪分布模式在“单节点集群”上运行Hadoop,其中所有的守护进程都运行在同一台机器上。该模式在单机模式之上增加了代码调试功能,允许你检查内存使用情况,HDFS输入输出,以及其他的守护进程交互。
比如namenode,datanode,secondarynamenode,jobtracer,tasktracer这5个进程,都能在集群上看到。
(3)全分布模式(Fully Distributed Mode)
Hadoop守护进程运行在一个集群上。
意思是说master上看到namenode,jobtracer,secondarynamenode可以安装在master节点,也可以单独安装。slave节点能看到datanode和tasktracer
2、本文目的
本文介绍如何设置和配置本地模式及单节点伪分布式Hadoop安装,以便使用Hadoop MapReduce和Hadoop分布式文件系统(HDFS)快速执行简单操作。
3、平台支持
Hadoop支持GNU / Linux作为开发和生产平台。 Hadoop已经在具有2000个节点的GNU / Linux集群上演示。
Windows也是一个受支持的平台,但本文仅适用于Linux。
4、需要的其他软件(前提条件)
ssh
java
二、Hadoop下载与安装
下载:http://hadoop.apache.org/releases.html
先从官网下载响应的hadoop,然后解压:
- tar -zxvf hadoop-2.7.3.tar.gz
修改文件夹名字:
- mv hadoop-3.7.3 hadoop
配置环境变量,编辑profile文件:
- sudo gedit /etc/profile
然后在文件末尾追加如下内容: