《云计算架构技术与实践》连载20:2.4.5 大数据分析云

原创 2014年12月27日 10:01:31

2.4.5大数据分析云

基于云计算总体架构下的大数据分析云解决方案,如图2-33所示。

 

2-33 大数据分析云解决方案架构子系统组合

大数据分析云解决方案为海量静态数据批处理以及大流量动态流数据处理为关键特征的企业及行业应用场景提供支撑,通过自动化提取与归纳价值信息实现业务增值。大数据分析云由云计算的并行数据分析与挖掘平台所支撑,可充分利用云计算底层能力创造最大价值。

在海量静态数据批处理的场景下,大数据分析平台需要充分分析经过相当长一段时间积累的,存储容量庞大的历史数据(如话单、日志、话统信息等)。大数据分析平台的并行数据处理引擎进一步依赖于弹性计算集群、弹性存储服务、分布式结构化存储服务以及分布式消息队列服务,为诸如互联网电子商务网站用户、电信运营商的BSS/OSS系统、视频娱乐类网站、搜索类网站提供服务。大数据分析平台所提供的服务类型包括:信息库精细化搜索、用户消费行为日志分析、系统运行日志分析以及集中监控信令信息的智能分析和挖掘。这些大数据分析服务为精确定位广告推送、网络运维优化、基于用户消费趋势分析的销售策略优化等商业运营提供决策性支撑。

在大流量动态数据流处理的场景下,其关键特征在于对来自于数量庞大的信息源所产生的动态事件与动态数据(比如来自电信网络实时检测的信令信息、来自于众多车辆GPS的定位信息、来自物联网终端实时采集的信息等),在一个相对较短的时间窗口内,进行动态数据的流水线方式自动关联分析与处理,并给出及时、准确和智能的执行策略决策,为特定业务目标服务(如大规模智能交通云、物流云网络的构建)。与上节数据批处理在分割、合并与混排等中间步骤所涉及的大量持久化存储I/O交互方面的特征相比,其最大差异处在于,数据流处理过程更讲究处理的及时性与敏捷控制能力,因此处理过程主要在内存中完成。流处理与批处理可以统一在相同的框架引擎之下。

为便于广大第三方应用开发编程人员以及云计算平台生态系统的合作伙伴充分独立于海量数据批处理以及流处理业务的内部实现架构细节,可在并行数据分析引擎与并发应用之间设置SQL/SQL适配与翻译层,提供开发人员所熟知的SQL或类SQL规范语言进行海量数据的操作。

《云计算架构技术与实践》读书笔记(一):OpenStack概述

3.1OpenStack概述 OpenStack是目前最为流行的开源云操作系统框架。自2010年6月首次发布以来,经过数以千计的开发者和数以万计的使用者的共同努力,OpenStack不断成长,日渐成熟...
  • a724888
  • a724888
  • 2017年07月19日 14:06
  • 555

云计算架构技术与实践 读书笔记

读书笔记 对云计算概念的理解:云计算可以是用户像使用水电一样来使用IT资源。IT 资源包括:硬件设施:处理器,服务器,存储设备。无论是私有云还是公共云,其核心本质都是一样的。首先将硬件上的分...
  • u011993252
  • u011993252
  • 2016年09月12日 19:06
  • 401

《云计算架构技术与实践》连载(5)2.1.2 云计算平台架构

版权所有,未经华为书面许可,请勿转载或转发。   2.1.2 云计算平台架构 如本书前言所述,IT架构的演进经历了“合”、“分”、“合”的三个阶段。如图2-2所示。   ...
  • Cloud_Architect
  • Cloud_Architect
  • 2014年12月08日 10:04
  • 4216

《云计算架构技术与实践》

2014年9月,由华为公司云计算首席架构师顾炯炯编著,清华大学出版社出版的华为云计算首部著作《云计算架构技术与实践》一书正式问世。 该书即是馈赠客户的精品,又是深入学习云计算前沿知识的最佳培训教材。 ...
  • Cloud_Architect
  • Cloud_Architect
  • 2014年10月15日 09:53
  • 6431

大数据管理:数据集成的技术、方法与最佳实践 读书笔记五之实时数据集成

实时数据集成 为什么需要实时数据集成 对于大多数据集成需求来说,因为要隔一夜,所以批处理的数据移动方式可能不可接受。一笔业务交易发生 之后,要到第二天才能看到,这是难以接受的。同样不能被...
  • sinat_29581293
  • sinat_29581293
  • 2016年04月28日 22:34
  • 548

SOA和云计算的关系

首先对于SOA是解决集成的问题,这个集成包括了数据集成,应用集成,流程集成和B2B集成。为了解决集成问题在实施SOA时候需要分两个大步骤,即SOA本身的定义:其一是将业务系统能力分解为独立,自治,离散...
  • libo250
  • libo250
  • 2015年06月07日 12:59
  • 550

面向微服务的企业云计算架构转型

云计算的本质是提高效率,而不是降低成本,公有云就是要提高社会的效率,私有云就是要提高 IT 的效率。从这个角度看,实施云计算就是做精益运营,而微服务架构为精益运营提供了架构上的保证,因为微服务是小的、...
  • jiaoly
  • jiaoly
  • 2016年08月22日 14:55
  • 2859

基于云计算的SOA架构设计

基于云计算的SOA架构设计转载▼标签: it分类: 转非抄袭(出处为CIO时代网(http://www.ciotimes.com))随着SOA和云计算技术的出现,企业信息系统的问题逐渐被解决。而进行针...
  • linxingaccp
  • linxingaccp
  • 2015年06月01日 17:26
  • 703

云计算4种主流虚拟技术架构对比分析

云计算4种主流虚拟技术架构对比分析   云计算离不开底层的虚拟化技术支持。维基百科列举的虚拟化技术有超过60种,基于X86(CISC)体系的超过50种,也有基于RISC体系的,其中有4种...
  • hbu_dcf
  • hbu_dcf
  • 2014年12月06日 12:38
  • 5731

《云计算架构技术与实践》连载17:2.4.2 存储云

版权所有,未经华为书面许可,请勿转载或转发     2.4.2 存储云 基于云计算总体架构下的存储云解决方案如图2-30所示。   图2-30 存储云解决方案架构子系统...
  • Cloud_Architect
  • Cloud_Architect
  • 2014年12月27日 09:56
  • 8632
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:《云计算架构技术与实践》连载20:2.4.5 大数据分析云
举报原因:
原因补充:

(最多只允许输入30个字)