大数据平台基础架构和常用处理工具

一、大数据在线分析处理和常用工具

• 大数据在线分析处理的特点

• Flume 介绍

• Spark 和 Storm 介绍

• HBase 介绍

二、大数据离线处理和常用工具

• 大 数据离线处理特点

• Hdfs 介绍

• MapReduce 介绍

• Hive 介绍

三、大数据离线处理和常用工具

1、• OLAP 和 OLTP 特点

OLAP (联机分析处理)  和 OLTP (联机事务处理) 在查询方面的特点：

• OLTP   单 次查询返回数据量小，但是经常会涉及服务器端简单的聚合操作，要求查询响应速度快，一般应用于在线处理；

• OLAP 单次查询返回数据量巨大，服务器端进行的处理复杂，经常包含上卷 ( 从细粒度数据向高层的聚合 ) 、下钻 ( 将汇总数据拆分到更细节的数据 ) 类似的操作；

2、• Elasticsearch   介绍

3、• Impala 介绍

4、• Kylin 介绍