(二)第二章:大数据底层技术通用架构概要介绍

原创 2016年06月02日 10:05:08

在开始介绍大数据平台通用架构之前,我们回顾下20世纪传统系统架构特点是哪些?


简单介绍下传统架构特色:1、视图与业务分开;视图层负责交互UI,业务模型层负责业务实现,逻辑控制负责程序内部功能调度;三层结构分划明显,耦合性高。这种架构沿用至今,只是目前的架构中更喜欢考虑松耦合、高内聚(偏向接口适配广的产品化组件),同时过去的传统RDMS数据库已经无法满足低时延,高并发的产品需求。那么我们同样按照MVC来剖析看看当前大数据通用架构和这个传统之间区别:


上图,大数据通用架构图:


简单介绍下大数据架构特色:大数据架构首先为了适应海量数据存储计算而设计,那么源数据使用分布式文件存储或分布式非结构化Nosql数据库进行存储保障上层计算的高效抽取数据。云计算采用分布式计算开源产品偏多(storm等),数据计算完成之后通过消息中间件或者将小批量数据进行汇总存于关系型数据库中。最后支撑上层营销、办公、决策等使用。


说来说去,我们想将传统架构和大数据架构进行总结对比说明如下:

1、传统系统架构,耦合性太高,需求变化之后需要大量二次开发。大数据架构低耦合高内聚,开发升级周期短;

2、传统系统架构无法适应海量数据存储计算。大数据架构可以满足海量并发计算;

3、传统架构集成难度大,接口适应差。大数据架构可以适配各种流式/消息队列/文本各类接口。

.................剩下来的,我更多想多说MVC架构其实还是灵魂,更多架构主要目的也只是为了优化MVC的性能和扩展。O(∩_∩)O哈哈~

版权声明:本文为博主原创文章,未经博主允许不得转载。

大数据处理的关键层次架构

图1、大数据处理的关键架构层 以下是对上图中各架构层的说明 一、数据存储层 宽泛地讲,据对一致性(consistency)要求的强弱不同,分布式数据存储策略,可分为ACID和BASE两大阵营。...

大数据架构师之路-大数据框架大全

数据仓库系列:1.hive2.spark sql3.Cloudera Impala4.kylin离线处理系列:1.hadoop2.spark 3.tez实时处理系列:1.storm2.spark...

awk实现group by功能分组统计条数

log日志初始文件内容如下:' "2017-04-26 09:23:04","ac:c1:ee:3c:f9:63","http://www.wangfanwifi.com:16621/api/p...

awk实战——分组统计(允许字符下标)

直接上图: 一、原始数据准备: 文本:array 内容如下图: 二、执行awk命令 代码注释: 按照文本分隔符\t,申明数组变量arrays[],变量下标为$1,数值为$2,按照数组相同下标进...

《云计算架构技术与实践》读书笔记(三):容器开源软件和大数据开源软件

3.2  容器开源软件:Kubernetes/Mesos / Docker Docker技术的出现和迅猛发展,已成为云计算产业的新的热点。容器使用范围也由互联网厂商快速向传统企业扩展,大量传统企业开...
  • a724888
  • a724888
  • 2017年07月19日 15:02
  • 615

Yonghong大数据BI的底层技术分享

  • 2013年12月17日 13:29
  • 2.13MB
  • 下载

大数据平台架构技术选型与场景运用

大数据平台架构技术选型与场景运用
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:(二)第二章:大数据底层技术通用架构概要介绍
举报原因:
原因补充:

(最多只允许输入30个字)