大数据技术大合集：Hadoop家族、Cloudera系列、spark、storm

大数据我们都知道hadoop，可是还会各种各样的技术进入我们的视野：Spark，Storm，impala，让我们都反映不过来。为了能够更好 的架构大数据项目，这里整理一下，供技术人员，项目经理，架构师选择合适的技术，了解大数据各种技术之间的关系，选择合适的语言。

我们可以带着下面问题来阅读本文章：
1.hadoop都包含什么技术？
2.Cloudera公司与hadoop的关系是什么，都有什么产品，产品有什么特性？
3.Spark与hadoop的关联是什么？
4.Storm与hadoop的关联是什么？

hadoop家族

创始人：Doug Cutting

整个Hadoop家族由以下几个子项目组成：

Hadoop Common：

Hadoop体系最底层的一个模块，为Hadoop各子项目提供各 种工具，如：配置文件和日志操作等。

HDFS：

是Hadoop应用程序中主要的分布式储存系统， HDFS集群包含了一个NameNode（主节点），这个节点负责管理所有文件系统的元数据及存储了真实数据的DataNode（数据节点，可以有很 多）。HDFS针对海量数据所设计，所以相比传统文件系统在大批量小文件上的优化，HDFS优化的则是对小批量大型文件的访问和存储。

MapReduce：

是一个软件框架，用以轻松编写处理海量（TB级）数据的并行应用程序，以可靠和容错的方式连