关闭

大数据即时分析架构探讨

标签: big data大数据mapreducehadoop
643人阅读 评论(1) 收藏 举报
分类:

1、大数据是数据库的自然延伸?

   -忘不掉ACID,舍不得Relation,忽视实际应用

   -潜意识地奉行“一招鲜”(One Size Fits All,  OSFA)
   -非结构化数据(二八原则
   -云计算与大数据(云数据)
   -Hadoop+ HDFS + Map/Reduce(分布式、网格计算、云计算
   -NoSQL
2、Brighthouse: An Analytic Data Warehouse forad-hoc Queries
   -PVLDB’08 DominikSlezak,Infobright,inc.,Poland
   -An Analytic Data Warehouse for Ad-hocQueries
   -Column-oriented data warehouse withautomatically tuned
   -Data management:DP、DPN、KN
   -Rough set + Granular Computing
   -Knowledge Grid
   -Optimization and Execution
3、管理和处理需求
   -落实OneSize Fits a Bunch”
   -查询/检索/统计/挖掘
   -离线/在线(humanreal-time
   -即时(on-demand/ad-hoc)/连续
   -本地/远程/“云”?
   -可回溯的可视化分析
   -事务型与分析型
4、大数据处理框架
   -分流处理(直接处理)和批处理(先存储后处理)
   -流处理

      数据持续到达,速度快,规模巨大,不永久存储,数据不断变化--》难以掌握全貌

   -代表的开源系统:

      Twitter的storm、Yahoo的S4、Linkedin的kafka

   -批处理:MapReduce   

      1)  将问题分而治之。

      2)把计算推到数据而不是把数据推到计算,避免数据传输过程中产生的大量通信开销。

5、Google新三驾马车

      -Dremel:web数据级别的交互式数据分析系统:列存储、多层次查询树,毫秒级海量数据分析

      -F1:The Fault-Tolerant Distributed RDBMS

      -Spanner:Google's Globally-Distributed database  

6、一些困扰

   -Hadoop+Brighthouse?

   -云计算与大数据如何结合?网格计算与大数据?

   -大数据OLAP方案?大数据OLTP方案?

   -大数据到底是什么?如何表述与建模?

   -大数据的理论基础?大数据可计算的基础理论?

   -重要扩展与证明“大数据的正确性”与应用的“出错根源”

   -能量、绿色计算、安全?





0
0

查看评论
* 以上用户言论只代表其个人观点,不代表CSDN网站的观点或立场
    个人资料
    • 访问:17580次
    • 积分:335
    • 等级:
    • 排名:千里之外
    • 原创:17篇
    • 转载:3篇
    • 译文:0篇
    • 评论:1条
    文章存档
    最新评论