大数据即时分析架构探讨

原创 2013年12月02日 15:07:35

1、大数据是数据库的自然延伸?

   -忘不掉ACID,舍不得Relation,忽视实际应用

   -潜意识地奉行“一招鲜”(One Size Fits All,  OSFA)
   -非结构化数据(二八原则
   -云计算与大数据(云数据)
   -Hadoop+ HDFS + Map/Reduce(分布式、网格计算、云计算
   -NoSQL
2、Brighthouse: An Analytic Data Warehouse forad-hoc Queries
   -PVLDB’08 DominikSlezak,Infobright,inc.,Poland
   -An Analytic Data Warehouse for Ad-hocQueries
   -Column-oriented data warehouse withautomatically tuned
   -Data management:DP、DPN、KN
   -Rough set + Granular Computing
   -Knowledge Grid
   -Optimization and Execution
3、管理和处理需求
   -落实OneSize Fits a Bunch”
   -查询/检索/统计/挖掘
   -离线/在线(humanreal-time
   -即时(on-demand/ad-hoc)/连续
   -本地/远程/“云”?
   -可回溯的可视化分析
   -事务型与分析型
4、大数据处理框架
   -分流处理(直接处理)和批处理(先存储后处理)
   -流处理

      数据持续到达,速度快,规模巨大,不永久存储,数据不断变化--》难以掌握全貌

   -代表的开源系统:

      Twitter的storm、Yahoo的S4、Linkedin的kafka

   -批处理:MapReduce   

      1)  将问题分而治之。

      2)把计算推到数据而不是把数据推到计算,避免数据传输过程中产生的大量通信开销。

5、Google新三驾马车

      -Dremel:web数据级别的交互式数据分析系统:列存储、多层次查询树,毫秒级海量数据分析

      -F1:The Fault-Tolerant Distributed RDBMS

      -Spanner:Google's Globally-Distributed database  

6、一些困扰

   -Hadoop+Brighthouse?

   -云计算与大数据如何结合?网格计算与大数据?

   -大数据OLAP方案?大数据OLTP方案?

   -大数据到底是什么?如何表述与建模?

   -大数据的理论基础?大数据可计算的基础理论?

   -重要扩展与证明“大数据的正确性”与应用的“出错根源”

   -能量、绿色计算、安全?





大数据分析整体技术流程及架构

本文对项目中所用到的大数据分析整体流程技术及其架构进行简要的总结,以供大家在大数据分析平台对数据处理流程更加明确 1.1 数据处理流程 该项目是一个纯粹的数据分析项目,其整体流程基本上就是依据数据...
  • tian_qing_lei
  • tian_qing_lei
  • 2017年07月21日 21:44
  • 833

架构大数据分析应用

这是《Scalable Big Data Architecture》一书的翻译笔记和读书札记,融入自己的部分观点 ….典型使用场景....大数据生态系统........
  • wireless_com
  • wireless_com
  • 2016年05月18日 21:19
  • 13667

大数据处理的架构逻辑

对大数据处理背后的架构逻辑的思考。
  • ronhu
  • ronhu
  • 2015年05月27日 21:25
  • 1333

详解如何用 SPSS + BigInsights 共同构架大数据分析平台

相关背景及概念介绍 IBM SPSS Modeler(以下简称 Modeler)是一款数据挖掘分析的行业软件,其采用数据流的方式来展示数据挖掘的操作过程,并结合 CRISP-DM 工业标准打造了一个支...
  • chenjunji123456
  • chenjunji123456
  • 2016年06月21日 11:38
  • 844

六款大数据采集平台的架构分析

随着大数据越来越被重视,数据采集的挑战变的尤为突出。今天为大家介绍几款数据采集平台: Apache FlumeFluentdLogstashChukwaScribeSplunk Forwarde...
  • u010299467
  • u010299467
  • 2016年01月25日 10:22
  • 4084

大数据处理平台基础架构-sohu-smc

做数据已经1个季度了,这里再说下我们的整体构架,另外说下现在还有哪些问题。   Sohu-smc  数据处理平台基础架构图   如图,左侧是整个大数据处理流程中数据的流向。其中绿色部分是日...
  • liuzeheng
  • liuzeheng
  • 2014年10月22日 12:09
  • 1777

多图技术贴:深入浅出解析大数据平台架构

目录: 什么是大数据Hadoop介绍-HDFS、MR、Hbase大数据平台应用举例-腾讯公司的大数据平台架构 “就像望远镜让我们能够感受宇宙,显微镜让我们能够观测微生物一样,大数据正在改变...
  • hambition
  • hambition
  • 2017年04月22日 09:40
  • 8244

大数据流式分析系统框架(日志处理系统)

Flume+Kafka+Storm+Redis Flume(日志收集系统)可以理解为一个日志系统与消息组件之间的过渡端。负责日志数据埋点。 Flum...
  • jiashun_
  • jiashun_
  • 2017年06月25日 19:56
  • 752

企业必须考虑的关于大数据架构的6大问题

在拉斯维加斯举行的Dell EMC World 2017大会上,戴尔EMC系统工程师Cory Minton解释了IT领导者如何更好地思考其大数据部署。 大数据在业务价值方面承诺了很多,但企业可能...
  • vsettan
  • vsettan
  • 2017年05月25日 14:12
  • 224

大数据架构的典型方法和方式

NoSQL 技术为应用提供了缓存和搜索特性,但既然是处理数据,就需要定义一种方法来处理各种数据流,以便能够给用户输出见解或数据服务。通过审视被IT组织使用广泛的数据架构来定义处理的拓扑结构。当考虑服务...
  • wireless_com
  • wireless_com
  • 2016年06月04日 15:15
  • 25734
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:大数据即时分析架构探讨
举报原因:
原因补充:

(最多只允许输入30个字)