Hadoop 环境搭建

Hadoop 环境的几种模式

Single Node Cluster

或称单机（本地）模式，这种模式在一台单机上运行，没有分布式文件系统，而是直接读写本地操作系统的文件系统。在单机模式（standalone）中不会存在守护进程，所有东西都运行在一个JVM上。这里同样没有DFS，使用的是本地文件系统。单机模式适用于开发过程中运行MapReduce程序，这也是最少使用的一个模式。

Pseudo-Distributed Operation

即伪分布式模式，也是在一台单机上运行，但用不同的Java进程模仿分布式运行中的各类结点(NameNode, DataNode ,ResourceManager, Nodemanager, SecondaryNameNode)，伪分布式（Pseudo）适用于开发和测试环境，在这个模式中，所有守护进程都在同一台机器上运行。

Fully-Distributed Operation

即全分布式模式，全分布模式通常被用于生产环境，使用N台主机组成一个Hadoop集群，Hadoop守护进程运行在每台主机之上。这里会存在Namenode运行的主机，Datanode运行的主机，以及tasktracker运行的主机。在分布式环境下，主节点和从节点会分开。

Hadoop环境的搭建

Hadoop环境的搭建还是比较简单的，可以参考下述两个链接

Single Node Cluster

Pseudo-Distributed Operation

Apache | Pseudo-Distributed Operation
Tutorialspoint | Enviornment Setup

Fully-Distributed Operation

Tutorialspoint | Multi Node Cluster
Apache | Hadoop Cluster Setup

Hadoop 常见指令

Apache | FileSystemShell
Apache | HDFS Commands Guide
Apache | MapReduce Commands Guide
Apache | YARN Commands