1. 在Google上搜索hadoop company list
Ø 找到目前拥有Hadoop集群的公司及数量:
http://www.hadoopwizard.com/which-big-data-company-has-the-worlds-biggest-hadoop-cluster/
Appendix: List of Companies with Number of Hadoop Nodes
Company | Nodes |
A9.com | 100 |
Accela Communications | 10 |
Adobe | 30 |
adyard | 12 |
Able Grape | 2 |
Adknowledge | 200 |
Aguja | 3 |
Alibaba | 15 |
AOL | 150 |
ARA.COM.TR | 100 |
Archive.is | 3 |
BabaCar | 4 |
Basenfasten | 4 |
Benipal Technologies | 35 |
Beebler | 14 |
Bixo Labs | 20 |
Brilig | 10 |
Brockmann Consult GmbH | 20 |
Caree.rs | 15 |
Charleston | 15 |
Contextweb | 50 |
Cooliris | 15 |
Cornell | 100 |
CRS4 | 400 |
crowdmedia | 5 |
Datagraph | 20 |
Deepdyve | 80 |
Detektei Berlin | 3 |
Detikcom | 9 |
devdaily.com | 3 |
EBay | 532 |
eCircle | 120 |
Enet | 5 |
Enormo | 4 |
ESPOL University | 4 |
ETH Zurich Systems Group | 16 |
Explore.To | 80 |
| 1400 |
FOX Audience Network | 140 |
Forward3D | 24 |
GBIF | 18 |
GIS.FCU | 3 |
Gruter. Corp. | 30 |
Gewinnspiele | 6 |
GumGum | 9 |
Hadoop Korean User Group | 50 |
Hotels & Accommodation | 3 |
Hulu | 13 |
Hundeshagen | 6 |
Hosting Habitat | 6 |
IIIT | 30 |
IMVU | 4 |
Information Sciences Institute | 18 |
Infochimps | 30 |
Inmobi | 150 |
Iterend | 10 |
Kalooga | 20 |
Clic | 10 |
Last.fm | 100 |
Lineberger Comprehensive Cancer Center | 8 |
| 1900 4100 |
MicroCode | 18 |
Media 6 Degrees | 20 |
Mercadolibre.com | 20 |
MobileAnalytic.TV | 2 |
MyLife | 18 |
Neptune | 200 |
NetSeer | 1050 |
Openstat | 50 |
PCPhase | 4 |
Powerset / Microsoft | 400 |
Pronux | 4 |
PokerTableStats | 2 |
Portabilité | 50 |
PSG Tech | 10 |
Quantcast | 3000 cores (est 750 nodes) |
Rackspace | 30 |
Rakuten | 69 |
Rapleaf | 80 |
Recruit | 50 |
Redpoll | 35 |
Resu.me | 5 |
RightNow Technologies | 16 |
Rovi Corporation | 40 |
Search Wikia | 125 |
SLC Security Services LLC | 18 |
Sling Media | 10 |
Socialmedia.com | 14 |
Specific Media | 138 |
Spotify | 120 |
Taragana | 16 |
The Lydia News Analysis Project | 120 |
Tailsweep | 8 |
Technical analysis and Stock Research | 23 |
Tegatai | 32 |
Telefonica Research | 6 |
Telenav | 60 |
Tepgo | 3 |
Tynt | 94 |
Universidad Distrital Francisco Jose de Caldas | 5 |
University of Freiburg | 10 |
University of Glasgow | 30 |
University of Twente | 16 |
Visible Measures Corporation | 128 cores (est. 32 nodes) |
Webmaster Site | 4 |
WorldLingo | 44 |
Yahoo! | 42,000 |
Zvents | 10 |
Ø 从文章http://www.technavio.com/blog/top-14-hadoop-technology-companies可以了解到除了apachehadoop外的其余14家提供Hadoop版本的生产厂商的信息:
1. Amazon Web Services Inc
2. IBM Corp
3. Pivotal Corp
4. Cloudera Inc
5. MapR Technologies Inc
6. Hortonworks Inc
7. Karmasphere Inc
8. Hadapt Inc
9. Super Micro Computer Inc
10. Pentaho Corp
11. Zettaset Inc
12. Datastax Inc
13. Datameer Inc
14. Dell Inc
2. 由于我们的开发要基于开源框架,所以进一步搜索”100% open source hadoop”
目前开源的Hadoop有:
Ø Apache Hadoop
由几个子项目组成:Hadoop Common、Hadoop Distributed File System (HDFS)、Hadoop YARN、HadoopMapReduce
由Yahoo Hadoop团队在过去几年全力构筑,推出了稳定版本。
Ø Cloudera提供了CDH版本的Hadoop
直到2011年夏天,市面上除了ApacheHadoop之外只有CDH 是100%开源的Hadoop框架,并且它与Linux合作得很好。EMC/Greenplum/MapR这个联盟由于不是开源框架,所以不能在我们的考虑范围之内。
Ø Hortonworks
原本团队是存在在Yahoo公司内,于2011年被拆分到与Benchmark Capital共同出资的公司Hortonworks,主打产品是Hortonworks DataPlatform (HDP),100%开源
这篇文章具体分析了Clouder和Hortonworks的前景
3. 综合以上分析,我们肯定要在Apache Hadoop、CDH、HDP中选择一款作为基准来研究,考虑到CDH申明包含了Apache Hadoop,所以Apache Hadoop不在考虑之内。
Ø CDH
优点:支持的厂商较多,对于新需求的反应度也较快。
子项目包括:Hadoop,Flume, HBase, HCatalog, Hive, Hue, Impala, Mahout, Oozie, Pig, Cloudera Search,Sentry, Spark, Sqoop, Whirr, ZooKeeper
详尽的Demo程序。
丰富的文档。
缺点:与用户的交互较少。
管理组件需付费或者加入联盟,不利于中小型客户拓展。
Ø HDP
优点:以用户的使用为出发点,用户体验度较好。
子项目包括:YARN、Stinger、Storm。
缺点:由于起步较晚,较少厂商在使用该版本,目前只有FaceBook和Microsoft两家。
文档较少。
下图为CDH4 VS HDP:
| Cloudera | Hortonworks |
开源程度 | 标准版100%开源 | 标准版100%开源 |
成立时间 | 2009年3月 | 2011年6月 |
天使投资 | 3千6百万美元 | 2千万美元 |
基于Hadoop平台 | Apache Hadoop | Yahoo Hadoop平台 |
客户群 | 超过400家企业 | 2家企业(Yahoo 和 Microsoft) |
主要管理层 | CEO Mike Olson | CEO Eric Baldeschwieler |
最新稳定版本 | CDH4.6 | HDP2.0 |
文档 | 很多,容易理解 | 较少 |
Demo | 很多,容易理解 | 较少 |
集群管理工具 | 需付费,免费功能较少 | 免费 |
支持的Apache Hadoop相关开源框架 | 支持Flume, HBase, HCatalog, Hive, Hue, Impala, Mahout, Oozie, Pig, Cloudera Search, Sentry, Spark, Sqoop, Whirr, ZooKeeper | 支持YARN、Stinger、Storm |
实时处理架构支持 | 主推Apache Spark | 主推Apache Storm |
对专有代码的依赖 | 较高 | 较低 |
4. 综合以上分析,个人感觉目前还是使用CDH4比较稳妥,当然将继续关注HDP的发展,未来也许是属于HDP的,因为对于用户来说比较重要的两点集群管理工具、对专有代码的依赖都是HDP较有利。
确定了Hadoop架构后我们还需要确定与SQL交互采用什么框架,还有实时情况下采用哪种架构。
下图为Storm VS Spark:
| Strom | Spark |
开源 | 100% | 100% |
版本 | 0.9.1 | 0.8.0 |
Hadoop架构联盟 | HDP | CDH4 |
运行方式 | 数据以流的方式流入到指定的机器节点上,在这些节点上执行计算步骤 | 将大量数据存储在内存中,数据和计算的关系类似于Hadoop,在数据量到位后计算随即在该节点上展开 |
是否支持并行计算 | 支持 | 支持 |
善长点 | 被适合于计算数据较小的情况 | 适合于被计算数据较大的情况 |
文档 | 项目创建不久,不是很多 | 项目创建不久,不是很多 |
由于选择了CDH4,所以Storm和Spark的选择也就有了结果,目前先用Spark。
下图为Hive VS Impala
| Hive | Impala |
是否开源 | 100% | 100% |
创始组织 | Apache | Apache |
Hadoop架构联盟 | CDH4 | CDH4 |
工作原理 | 运用MapReduce操作数据,所以它是基于Hadoop架构的 | 运用缓存机制来缓存存在于HDFS中的数据,所以它与Hadoop架构是分离的 |
适用场景 | 数据量较大时 | 数据量较小时 |
目前来看,选择Hive较为合适,当然我们可以两者并行研究,对于不同的用户需求提供不同的解决方案。