大数据框图

google三篇论文：

• 分布式文件系统 GFS
• 大数据分布式计算框架 MapReduce
• NoSQL 数据库系统 BigTable
  一句话概括即使分布式！通过大量廉价的机器构建集群，完成海量数据、存储计算的那些事儿

后来有了Hadoop：HDFS+Mapreduce，Yahoo很早就开始实用Hadoop（搜索主要干两个事，爬网页存起来，建索引，Hadoop可以说完美的解决了早起的搜索引擎的那些事儿）
Hadoop后来成为了Apache的顶级项目
后来Yahoo搞出来Pig，是一个类似sql语法的东东，经过变异转成了Mapreduce程序，运行在Hadoop上
Facebook推出Hive，这个是真的支持sql语法的

hadoop周边：

• Sqoop，支持关系数据库数据的导入、导出到Hadoop
• Flume，支持海量日志的收集、聚合、传输
• Oozie，支持mapreduce的工作流调度引擎

MapReduce组成：

• 执行引擎
• 资源调度引擎，后来衍生出Yarn
  Yarn：MapReduce的升级版，支持大数据计算迭代+利用内存，更快

批处理计算（大数据离线计算）：

• MapReduce
• Spark

大数据流计算（大数据实时计算）：

• Storm
• Flink
• Spark Streaming

NOSQL：

• Hbase，从Hadoop分离出来，基础HDFS的NoSQL系统
• Cassandra