上期简单介绍了大数据,了解了大数据应用的可行性与必然性,事实上也的确如此,大数据在公共管理(某省的最多跑一次),教育行业(某省交通厅大数据建设),税务行业(某省税务大数据平台应用建设),信息管理(某省人口库建设)等等方面都有很多建树,本文以智慧交通为主题介绍下主流大数据应用的总体架构设计
云服务
首先了解下基于云计算的三种服务模式,现在的大数据总体架构基本上都是基于此来设计
IaaS :基础服务,处在云服务的最底层,是一些基础资源设施,如ECS
PaaS:平台服务,用户无需关注底层硬件和操作系统技术,可进行不间断的扩展,如容器应用OpenShift
SaaS:软件服务,可把技术,管理等都交给第三方,在平台上做自己的软件业务,可拿来即用,如我们经常碰到的微信,QQ等
通俗理解拿披萨来说,IaaS是用来烤披萨的烧火炉;PaaS是披萨面饼,你可以在面饼上面放任何你想放的东西来做各种口味披萨;SaaS是包装,用来把披萨按你所需来包装买卖
总体架构
如图展示了数据从源端接入上云到平台层,再到应用层接入层的整体架构,由于内容过多,这里省略了平台层和应用层之间的数据层架构,下面逐一介绍时会说到这个层次
源端数据层结构:这一层严格意义上还属于云下数据,数据分为三种类型结构化数据,半结构化数据和非结构化数据,由于大数据云计算平台只支持数据,不支持图片影音这些非结构化数据,到时候还需要把这些数据进行标准化结构化
类型&