大数据框架用到的软件小结

yarn 集群计算资源的管理。

MR
map：并行运算 将大的任务拆分成小的。
reduce：汇总

sqoop： 负责把关系型数据库采集到hadoop
sql to hadoop

flume： 采集日志数据 到hadoop

hbase：nosql数据库，对百亿数据库进行秒级查询 （非关系型数据库）

kafka：消息队列
既可以可以存储数据，也可以传输数据

mapreduce space stome 内存计算

用yarn申请资源调度

mr是离线计算： 计算不会变化，计算的时候已经封闭了。
spark：内存计算，是mr的100倍

hive：用sql转mr  数据查询框架
mahout：数据挖掘框架
spark mlib：数据挖掘框架
spark r：数据分析
spark sql：数据查询，对标hive
spark stareaming：实时计算，确切叫准实时计算，因为它定义的窗口来计算的。比如每十秒算一批。
flink：实时计算。

把上面的进行任务流：
Azkaban 任务调度
Oozie 任务调度

zookeeper：数据平台配置和调度框架

业务模型、数据可视化、业务应用