高校数据中心和应用建设指南(二):数据中心建设
高校数据中心建设方案特点:
过去数据中心建设都是基于传统的数据仓库的架构来创建的,而随着线路的不断增多, 数据的种类和数量都在不断增加,传统数仓暴露出成本高, 扩容难,维护困难的缺点。
该方案提出是基于Hadoop大数据平台的数据中心建设方案,极大地降低了使用和维护成本,Hadoop生态圈包含了各类的组件模块,能够解决建设和使用中遇到的各类问题,提高了数据中心的性能,并具有极强的可扩展性。
大数据数据中心应用:强大的大数据应用构建能力
高校数据中心应用服务理念:解决痛点
数据中心的建设应该通过先进技术与校内各种业务进行联合思考,以减轻教师负担为,服务教师与学生为目标,通过数据中心建设,给师生提供更好的信息服务支持。所以高校需要将各种资源进行融合,让外部信息和校园内部建设实现贯通,给教学改革工作提供更好的动力。同时,高校应该借助数据中心体现出的技术和应用优势实施管理优化,推动校内的创新发展。
没有数据中心:教师需要对各类数据填报进行重复填报,直接从系统中取数不到10%,并且不同上报数据经常出现不一致现象。
有数据中心:教师不需要重复填报,直接从系统中抽数可以到80%以上,上报数据口径保持一致,教师可以通过统一的入口一次填报,极大的减轻工作量。
高校数据中心说明
权威数据发布中心:
通过统一的数据采集入口,将校内数据统一到数据中心,并对数据进行标准化、规范化、准确化的处理,形成校内唯一的对内对外数据服务中心。将校内数据通过标准接口提供给校内系统使用,并为对外数据报送服务提供准确、权威的数据来源。
数据应用服务中心:
提升校内数据资源的重复利用率,提升高校教学水平,以满足不同层次教师、学生的基本需求,从各方面提高高校教学、科研、管理等水平,给校内改革创新提供新的思路。
高校数据中心总体架构
数据采集(ETL):
负责源数据的采集、清洗、转换和加载包括:
1、把原始数据加载到Hadoop平台。
2、把加工后的数据加载分布式数据库和数据应用集市
Hadoop云平台:
负责存储海量的流量话单数据,提供并行的计算和非结构化数据的处理能力,实现低成本的存储和低时延、高并发的查询能力。
分布式数据库 :
存储加工、关联、汇总后的业务数据,并提供分布式计算,支撑数据深度分析和数据挖掘能力,向主数据仓库输出KPI和高度汇总数据。
数据应用集市:
存储指标数据、KPI数据和高度汇总数据。
数据开放接口:
向大数据应用方提供大数据平台的能力。
数据中心数据服务架构
1、应用层:应用系统的私有数据,应用的业务数据。精细化营销做为大数据平台的一个上层应用,有由大数据平台提供数据支撑
2、信息子层:报表数据、多维数据、指标库等数据来源于汇总层。
汇总层:主题域之间进行关联、汇总计算。汇总数据服务于信息子层,目的是为了节约信息子层数据计算成本和计算时 间。
3、轻度汇总层:主题域内部基于明细层数据, 进行多维度的、用户级的汇总。
明细数据层:主题域内部进行拆分、关联。是对ODS操作型数据按照主题域划分规则进行的拆分及合并
4、ODS层:数据来源于各生产系统,通过ETL工具对接口文件数据进行编码替换和数据清洗转换,不做关联操作。未来也可用于准实时数据查询。
规范的数据标准
建立高校数据中心标准,对各个业务系统的数据进行规范梳理
完整的数据模型
以上是Smartbi研究院关于高校数据中心和应用建设指南(二)的分享:数据中心建设。下期我们继续分享高校数据应用建设,详见高校数据中心和应用建设指南(三)。如需下载完整版《高校数据中心和应用建设指南白皮书》可登陆Smartbi官网免费下载。