hadoop生态系统

Hadoop ecosystem:

hive: sql执行引擎；数据仓库；

pig: 命令式sql执行引擎；

hbase: 分布式数据库；高性能IO；大吞吐；实时；对小文件支持好 (apache顶级项目)

oozie: 任务调度框架；

chukwa: 分布式日志收集、解析系统；

toad: 在RDBMS和DDBMS之间转移数据；

storm: 不基于hadoop，分布式实时流处理/分析；监控系统；

flume: 分布式数据传输/分发；

zookeeper: 轻量级系统管理框架；消息协同；锁服务 (不限于hadoop，前景广阔)

mahout: 数据挖掘

sqoop: 关系数据库ETL工具；

spark: 内存计算； (应该是未来的方向吧，2014.3成为顶级项目)

不同的环境：

数据采集  chukwa      

数据传输  flume

数据处理  hadoop/storm

数据存储  hadoop

spark/impala: 内存计算；

mapreduce场景： 数据可分割；数据计算顺序无所谓；重复计算结果相同；批处理；

storm: 流式计算