Alex 的 Hadoop 菜鸟教程: 第1课 hadoop体系介绍

原帖地址：http://blog.csdn.net/nsrainbow/article/details/36396007

本教程适用人群

如果你是以下的几类人中的一种

• 老板叫我搭建一个hadoop集群，但是我还什么都不懂，网上的教程概念介绍的好多，我看的头晕，咋办？
• 我想学hadoop但是我是个完全不懂的小白，hadoop有这么多的东西，我究竟要学那些算是能学会hadoop？

那么你就是本教程的适用人群！看完这个教程你不会成为一只Hadoop大象，但是你可以成为一只小象，至少你已经知道Hadoop长什么样子，有几条腿了，可以再学习很多进阶的教程了。

本教程的特点

• 不要求你有很多台机器，你的最低要求就是有2台虚拟机搭建出来的centos机器，这样你在家也可以学习hadoop，而不是必须要在实验室或者公司
• 不会介绍很多的概念，直接采用一个个的实践例子让你自己感受hadoop，如果需要了解具体的概念和参数，请继续学习每个教程后面的参考资料
• 前21课介绍了高优先级组件，属于课程的主体部分，学完了21课就算完成了课程了，真正成为一只小象了。21课之后的低优先级组件我就看心情更新了，毕竟没那么多时间

OK，现在开始！

hadoop核心

Apache Hadoop 项目有两个核心组件，被称为 Hadoop 分布式文件系统 (Hadoop Distributed File System, HDFS) 的文件存储，以及被称为 MapReduce 的编程框架。有一些支持项目充分利用了 HDFS 和 MapReduce。 

支持商

Hadoop有两个主要支持商HortonWorks (代表社区)和 Cloudera (代表商业)， HortonWorks发布的安装包叫 Ambari ， Cloudera发布的安装包叫 CDH (截至本文发布最新为CDH5)。其实还有一个MapR因为用的人不多，我就不介绍了 
选择建议：
我也不知道选什么好，因为我只用过cdh的版本，只是因为他看起来更商业化，可能会更稳定吧，不过cdh的官方文档都是英文而且写的很杂乱。如果你找不到什么cdh的资料可以看下我博客里面关于hadoop的文章，这些都是是我在cdh官方文档的基础上翻译和改进的

生态圈

下面介绍下Hadoop庞大的开源生态圈的一些组件（主要还是以CDH5官方安装教程有提到的为主）。由于条目众多，我会列出学习的优先级：高，低。优先级低的只需要了解就好了，基本工作中都可能不会用到。所以大家一上手的时候只需要高这个级别的就好了，低的等闲的没事干的时候去看下。

HDFS [高]

hadoop做出了一个虚拟文件系统，在这个系统上你以为你创建了一个文件，其实这个文件有可能被同时存放在很多台机子上，这样就让你的系统表面上看起来是一个空间，实际上是很多服务器的磁盘构成的，这就是分布式操作系统

对应课程

• Alex 的 Hadoop 菜鸟教程: 第2课 hadoop 安装教程 (CentOS6 CDH分支 yum方式)
• Alex 的 Hadoop 菜鸟教程: 第3课 H