Smartbi研究院：高校数据中心和应用建设指南（二）

高校数据中心和应用建设指南（二）：数据中心建设

高校数据中心建设方案特点：

过去数据中心建设都是基于传统的数据仓库的架构来创建的,而随着线路的不断增多, 数据的种类和数量都在不断增加,传统数仓暴露出成本高, 扩容难,维护困难的缺点。

该方案提出是基于Hadoop大数据平台的数据中心建设方案,极大地降低了使用和维护成本,Hadoop生态圈包含了各类的组件模块,能够解决建设和使用中遇到的各类问题,提高了数据中心的性能，并具有极强的可扩展性。

大数据数据中心应用：强大的大数据应用构建能力

高校数据中心应用服务理念：解决痛点

数据中心的建设应该通过先进技术与校内各种业务进行联合思考，以减轻教师负担为，服务教师与学生为目标，通过数据中心建设，给师生提供更好的信息服务支持。所以高校需要将各种资源进行融合，让外部信息和校园内部建设实现贯通，给教学改革工作提供更好的动力。同时，高校应该借助数据中心体现出的技术和应用优势实施管理优化，推动校内的创新发展。

没有数据中心：教师需要对各类数据填报进行重复填报，直接从系统中取数不到10%，并且不同上报数据经常出现不一致现象。

有数据中心：教师不需要重复填报，直接从系统中抽数可以到80%以上，上报数据口径保持一致，教师可以通过统一的入口一次填报，极大的减轻工作量。

高校数据中心说明

权威数据发布中心:

通过统一的数据采集入口，将校内数据统一到数据中心，并对数据进行标准化、规范化、准确化的处理，形成校内唯一的对内对外数据服务中心。将校内数据通过标准接口提供给校内系统使用，并为对外数据报送服务提供准确、权威的数据来源。

数据应用服务中心:

提升校内数据资源的重复利用率，提升高校教学水平，以满足不同层次教师、学生的基本需求，从各方面提高高校教学、科研、管理等水平，给校内改革创新提供新的思路。

高校数据中心总体架构

数据采集（ETL）：

负责源数据的采集、清洗、转换和加载包括：

1、把原始数据加载到Hadoop平台。

2、把加工后的数据加载分布式数据库和数据应用集市

Hadoop云平台：

负责存储海量的流量话单数据，提供并行的计算和非结构化数据的处理能力，实现低成本的存储和低时延、高并发的查询能力。

分布式数据库 ：

存储加工、关联、汇总后的业务数据，并提供分布式计算，支撑数据深度分析和数据挖掘能力，向主数据仓库输出KPI和高度汇总数据。

数据应用集市：

存储指标数据、KPI数据和高度汇总数据。

数据开放接口：

向大数据应用方提供大数据平台的能力。

数据中心数据服务架构

1、应用层：应用系统的私有数据，应用的业务数据。精细化营销做为大数据平台的一个上层应用，有由大数据平台提供数据支撑

2、信息子层：报表数据、多维数据、指标库等数据来源于汇总层。

汇总层：主题域之间进行关联、汇总计算。汇总数据服务于信息子层，目的是为了节约信息子层数据计算成本和计算时 间。

3、轻度汇总层：主题域内部基于明细层数据， 进行多维度的、用户级的汇总。

明细数据层：主题域内部进行拆分、关联。是对ODS操作型数据按照主题域划分规则进行的拆分及合并

4、ODS层：数据来源于各生产系统，通过ETL工具对接口文件数据进行编码替换和数据清洗转换，不做关联操作。未来也可用于准实时数据查询。

规范的数据标准

建立高校数据中心标准，对各个业务系统的数据进行规范梳理

完整的数据模型

以上是Smartbi研究院关于高校数据中心和应用建设指南（二）的分享：数据中心建设。下期我们继续分享高校数据应用建设，详见高校数据中心和应用建设指南（三）。如需下载完整版《高校数据中心和应用建设指南白皮书》可登陆Smartbi官网免费下载。