Hadoop技术预览

首次发布：Hadoop技术预览

自从Hadoop的出现，引领大数据的浪潮越来越热。大数据存储的主要技术路线有几种：
1.Hadoop
2.Cassandra
3.MongoDB
Hadoop是Apache的开源项目，同时有很多商业公司对Hadoop进行版本发行和商业支持,参见：http://wiki.apache.org/hadoop/Distributions%20and%20Commercial%20Support
其中在最有名为人所知的三家：
1.Cloudera

2.Hortonwork

3.MapR

这三个厂商之中，MapR最为封闭；Hortonworks最为开放，产品线全开源，在线文档比较丰富。国内使用Cloudera CDH和Hortonworks的应该是最多的。
准实时计算框架/即席查询
1.CDH的框架有：Impala + Spark；
2.HDP的框架有：Tez + Spark；
3.MapR的框架有：Drill + Tez + Spark。
关于Spark：
2014年大数据最热门的技术路线就是算是Spark了，而且得力于Spark不遗余力的推广和快速成长。Cloudera是最早支持Spark，也是最激进的。下图即是Spark在Cloudera产品线中的定位：

实际上快速计算框架的发展才刚刚开始，社区中已经有如下几种：
1.Spark/Shark
2.Hortonworks Tez/Stinger
3.Cloudera Impala
4.Apache Drill
5.Apache Flink
6.Apache Nifi
7.Facebook Presto