(二)第二章:大数据底层技术通用架构概要介绍

原创 2016年06月02日 10:05:08

在开始介绍大数据平台通用架构之前,我们回顾下20世纪传统系统架构特点是哪些?


简单介绍下传统架构特色:1、视图与业务分开;视图层负责交互UI,业务模型层负责业务实现,逻辑控制负责程序内部功能调度;三层结构分划明显,耦合性高。这种架构沿用至今,只是目前的架构中更喜欢考虑松耦合、高内聚(偏向接口适配广的产品化组件),同时过去的传统RDMS数据库已经无法满足低时延,高并发的产品需求。那么我们同样按照MVC来剖析看看当前大数据通用架构和这个传统之间区别:


上图,大数据通用架构图:


简单介绍下大数据架构特色:大数据架构首先为了适应海量数据存储计算而设计,那么源数据使用分布式文件存储或分布式非结构化Nosql数据库进行存储保障上层计算的高效抽取数据。云计算采用分布式计算开源产品偏多(storm等),数据计算完成之后通过消息中间件或者将小批量数据进行汇总存于关系型数据库中。最后支撑上层营销、办公、决策等使用。


说来说去,我们想将传统架构和大数据架构进行总结对比说明如下:

1、传统系统架构,耦合性太高,需求变化之后需要大量二次开发。大数据架构低耦合高内聚,开发升级周期短;

2、传统系统架构无法适应海量数据存储计算。大数据架构可以满足海量并发计算;

3、传统架构集成难度大,接口适应差。大数据架构可以适配各种流式/消息队列/文本各类接口。

.................剩下来的,我更多想多说MVC架构其实还是灵魂,更多架构主要目的也只是为了优化MVC的性能和扩展。O(∩_∩)O哈哈~

版权声明:本文为博主原创文章,未经博主允许不得转载。

相关文章推荐

大数据处理的关键层次架构

图1、大数据处理的关键架构层 以下是对上图中各架构层的说明 一、数据存储层 宽泛地讲,据对一致性(consistency)要求的强弱不同,分布式数据存储策略,可分为ACID和BASE两大阵营。...

大数据平台架构技术选型与场景运用

导读:本文将大数据的工作角色分为三种类型,包括业务相关、数据科学相关和数据工程。大数据平台偏向于工程方面,大数据平台一般包括数据源、数据采集、数据存储、数据分析等方面。 一、大数据平台 大数据...

大数据平台创新

我曾为多个银行数据中心架构大数据平台及相关应用,现将部分成果记录下来。 其总体以数据仓库、大数据分析平台为核心,整合差异化的数据服务能力,满足各类用户对数据的集成性、服务的多态性、平台可管控性的需求,...

大数据架构师基础:hadoop家族,Cloudera产品系列等各种技术

原文链接:http://www.aboutyun.com/thread-9219-1-1.html 大数据我们都知道hadoop,可是还会各种各样的技术进入我们的视野:Spar...

多图技术贴:深入浅出解析大数据平台架构

目录: 什么是大数据Hadoop介绍-HDFS、MR、Hbase大数据平台应用举例-腾讯公司的大数据平台架构 “就像望远镜让我们能够感受宇宙,显微镜让我们能够观测微生物一样,大数据正在改变...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:深度学习:神经网络中的前向传播和反向传播算法推导
举报原因:
原因补充:

(最多只允许输入30个字)