大数据即时分析架构探讨

1、大数据是数据库的自然延伸?

   -忘不掉ACID，舍不得Relation，忽视实际应用

   -潜意识地奉行“一招鲜”(One Size Fits All,  OSFA)

   -非结构化数据（二八原则）

   -云计算与大数据(云数据)

   -Hadoop+ HDFS + Map/Reduce（分布式、网格计算、云计算）

   -NoSQL

2、Brighthouse: An Analytic Data Warehouse forad-hoc Queries

   -PVLDB’08 DominikSlezak,Infobright,inc.,Poland

   -An Analytic Data Warehouse for Ad-hocQueries

   -Column-oriented data warehouse withautomatically tuned

   -Data management：DP、DPN、KN

   -Rough set + Granular Computing

   -Knowledge Grid

   -Optimization and Execution

3、管理和处理需求

   -落实“OneSize Fits a Bunch”

   -查询／检索／统计／挖掘

   -离线／在线（humanreal-time）

   -即时（on-demand/ad-hoc）／连续

   -本地／远程／“云”?

   -可回溯的可视化分析

   -事务型与分析型

4、大数据处理框架

   -分流处理（直接处理）和批处理（先存储后处理）

   -流处理：

      数据持续到达，速度快，规模巨大，不永久存储，数据不断变化--》难以掌握全貌

   -代表的开源系统：

      Twitter的storm、Yahoo的S4、Linkedin的kafka

   -批处理：MapReduce   

      1)  将问题分而治之。

      2）把计算推到数据而不是把数据推到计算，避免数据传输过程中产生的大量通信开销。

5、Google新三驾马车

      -Dremel：web数据级别的交互式数据分析系统：列存储、多层次查询树，毫秒级海量数据分析

      -F1：The Fault-Tolerant Distributed RDBMS

      -Spanner：Google's Globally-Distributed database  

6、一些困扰

   -Hadoop+Brighthouse？

   -云计算与大数据如何结合？网格计算与大数据？

   -大数据OLAP方案？大数据OLTP方案？

   -大数据到底是什么？如何表述与建模？

   -大数据的理论基础？大数据可计算的基础理论？

   -重要扩展与证明“大数据的正确性”与应用的“出错根源”

   -能量、绿色计算、安全？