Hadoop-2.7.3 单节点模式安装

原文出自：http://blog.anxpp.com/index.php/archives/1036/

Hadoop单节点模式安装

    官方教程：http://hadoop.apache.org/docs/r2.7.3/

    本文基于：Ubuntu 16.04、Hadoop-2.7.3

一、概述

        本文参考官方文档介绍Hadoop单节点模式（本地模式及伪分布式模式）安装（Setting up a Single Node Cluster）。

    1、Hadoop安装的三种模式

    （1）单机模式（standalone）

        单机模式是Hadoop的默认模式。当首次解压Hadoop的源码包时，Hadoop无法了解硬件安装环境，便保守地选择了最小配置。在这种默认模式下所有3个XML文件均为空。当配置文件为空时，Hadoop会完全运行在本地。因为不需要与其他节点交互，单机模式就不使用HDFS，也不加载任何Hadoop的守护进程。该模式主要用于开发调试MapReduce程序的应用逻辑。

此程序一般不建议安装，网络上很少这方面资料。

    （2）伪分布模式（Pseudo-Distributed Mode）

        伪分布模式在“单节点集群”上运行Hadoop，其中所有的守护进程都运行在同一台机器上。该模式在单机模式之上增加了代码调试功能，允许你检查内存使用情况，HDFS输入输出，以及其他的守护进程交互。

比如namenode，datanode，secondarynamenode，jobtracer，tasktracer这5个进程，都能在集群上看到。

    （3）全分布模式（Fully Distributed Mode）

        Hadoop守护进程运行在一个集群上。

        意思是说master上看到namenode,jobtracer，secondarynamenode可以安装在master节点，也可以单独安装。slave节点能看到datanode和tasktracer

    2、本文目的

        本文介绍如何设置和配置本地模式及单节点伪分布式Hadoop安装，以便使用Hadoop MapReduce和Hadoop分布式文件系统（HDFS）快速执行简单操作。

    3、平台支持

        Hadoop支持GNU / Linux作为开发和生产平台。 Hadoop已经在具有2000个节点的GNU / Linux集群上演示。

        Windows也是一个受支持的平台，但本文仅适用于Linux。

    4、需要的其他软件（前提条件）

        ssh

        java

二、Hadoop下载与安装

        官网：http://hadoop.apache.org/

        下载：http://hadoop.apache.org/releases.html

        先从官网下载响应的hadoop，然后解压：

 
 
 

  
tar -zxvf hadoop-2.7.3.tar.gz
 

        修改文件夹名字：

 
 
 

  
mv hadoop-3.7.3 hadoop
 

        配置环境变量，编辑profile文件：

 
 
 

  
sudo gedit /etc/profile
 

        然后在文件末尾追加如下内容：