hadoop本地模式部署_简述Hadoop各种部署方式及学习路线

Hadoop是一个由Apache基金会所开发的分布式系统的基础架构；

Hadoop的核心就是HDFS和MapReduce，HDFS为海量数据的持久化存储提供了一个分布式环境，MapReduce则是在HDFS的基础之上对海量数据进行计算；需要特别声明的是：MapReduce既是一个计算框架，也是一种编程思想，这种框架为海量数据分布式计算提供了可能性，编程思想则是实现这种计算的思路和灵魂。

HDFS自身设计的初衷就是部署在廉价的机器上的，因而必须提供容错性，因此HDFS自身就有高可用机制，可以对失效的节点的数据自动恢复，可以失效的节点数依赖于副本的设定

学习Hadoop应该首先了解Hadoop的各种部署方式，并明白各种部署方式的场景和作用，部署部署目的，而是在部署的过程中学习各个组件的功能、各个组件是如何协调的、如何进行基础的故障排错。

这篇手记会给介绍几种常见的部署方式，后续手记会介绍详细的部署和安装过程

1、本地模式

所谓本地模式，就是在单台服务器上进行开发和调试，这种模式不会使用HDFS，而是使用本地文件系统，Hadoop不会启动NameNode、DataNode、JobTracker和TaskTracker等服务进程，同一进程提供了所有的服务；该模式仅用于开发和调试，通常用于调试MapReduce程序逻辑是否正确。

2、伪分布式模式

伪分布式模式下，Hadoop的所有服务进程会一单独的守护进程运行，但全部运行在同一物理主机上，并不是真正的分布式，只是用来模拟小型集群。

启动的进程包括NameNode、DataNode、JobTracker和TaskTracker,