数字政府大数据中心数据资源平台建设方案

来源公众号：优享智库

项目建设内容

对于本次区级大数据资源平台的建设，将按照“总体规划一步到位，平台建设分步实施，数据赋能逐步升级”的原则，落实数据交换共享和协同应用需求，逐步提升区级大数据资源中心能级。初期先完成数据资源平台的搭建，后续依托基础平台的建设成果，逐步完善丰富XX区大数据资源、运营平台、管理机制、运维支撑、组织保障体系和典型智慧应用的建设。

区级大数据资源平台项目建设的主要目标是要搭建XX区统一的大数据资源管理平台并实现基础功能架构，出台相关管理办法，支撑全区各政务部门的数据共享需求；建立大数据资源中心，完成标准化数据仓库的建设，并构建基础及融合数据库，为全区的政务处理、经济发展、社会民生、城市管理、乡村振兴等实现数据赋能。

• 建设统一的大数据资源管理与应用平台：建设包含数据支撑底座、数据交换子平台、数据整理治理子平台、数据服务子平台，数据分析支撑子平台以及数据资源门户为核心功能的大数据资源平台，实现大数据综合管理与服务功能；

• 启动区级大数据资源中心建设：完成标准化数据仓库的设计与规划建设，并完成与区各委办业务与管理系统、S市大数据资源平台以及物联网相关平台数据的对接，汇聚各类业务数据，构建区级大数据资源中心；

• 在XX区资源中心数据湖基础上，建设基础数据库，包括人口综合库、法人综合库、电子证照库以及地理空间库，为全区各政务部门提供人口、法人、证照与地理空间相关的数据服务；

• 在区级资源中心数据湖以及基础库的基础上，持续深入大数据资源的建设与应用探索，基本完成支撑全区一网通办、一网统管、城市规划、应急指挥等主题的资源归集，并形成相关的专题库和主题库；

• 建立统一的政府数据信息资源目录，建立动态更新机制，明确全区各部门可向其他政府机构共享的公共数据，建立全区统一的数据交换共享平台及数据中心，对上对下实现垂直共享，横向打通各部门间的数据交换共享，实现部门间业务协同和指挥联动；

• 充实现有管理功能，形成共享工作体制和制度。

建设数据交换子平台

建设全区统一的数据数据交换子平台，形成公共数据归集、交换、共享的核心枢纽；打通全区各单位之间数据资源共享通道，实现双向数据互通。具体，在本次区级大数据资源平台建设项目中，数据交换子平台的建设内容包括：

• 数据交换配置：提供数据交换配置功能，能够提供对于交换周期，时间的交换策略配置、接口配置交换任务配置功能；

• 数据服务管理：提供数据服务管理功能，将清洗后的数据以及场景化分析后的数据注册为数据服务，统一进行管理与对外共享；

• 数据共享接口：将清洗后的数据以及场景化分析后的数据注册到服务管理系统中，统一进行对外共享，并且对共享行为进行统一管理和审计；

• 数据交换监控：提供数据交换监控功能，实时监控交换过程中核心服务运行状况，包括交换平台整体运行状态、交换域运行状态、交换节点运行状态、交换流程运行状态等，保障数据交换稳定。

建设数据治理子平台

建设大数据治理子平台，提供数据标准管理、元数据管理、数据质量管理能力，实现对数据的规范治理与管理；提供数据工厂能力，实现对归集的数据进行清洗、加工，支撑业务的数据应用需求。具体，在本次区级大数据资源平台建设项目中，数据治理子平台的建设内容包括：

• 资源目录管理：提供资源目录管理功能，包括：资源编目、目录提交、目录审核、目录发布、目录汇总、目录查询等；

• 数据标准管理：提供数据标准管理功能，包括：字典标准管理、命名标准管理、维度标准管理及数据项标准管理；

• 元数据管理：提供元数据管理功能，包括：元数据正向采集、元数据维护、元数据查询、元数据导入/导出、元数据血缘分析；

• 数据质量管理：提供数据质量管理功能，包括：质量模型配置、质量规则管理、方案配置调度、质检结果查看、质检分析报告；

• 数据开发平台：提供数据开发平台能力，支持可视化开发和原生态开发两种开发模式，实现原生态开发与可视化编排的互相转换；

• 统一调度管理：提供统一调度管理功能，提供流程设计与管理、调度策略管控、任务调度控制、等功能模块。

建设数据资源门户

建设统一的数据资源门户，有效集成整合各子平台应用功能模块，数据资源目录整合、统一用户账号、组织架构、角色权限、业务流程、信息展示以及统一运维等方面的管理，全面打造面向各单位工作人员的一体化统一数据管理与应用门户。

利用数据资源门户推动全区公共数据和社会数据的交互和开放使用，加强政企数据互动、加快统一公共数据归集、强化数据管理治理、探索数据应用，促进数据共享协同与开放，为提升全区政府治理能力，实现管理向服务转变提供支撑。具体，在本次区级大数据资源平台建设项目中，数据资源门户的建设内容包括：

• 门户首页：提供门户首页，在首页可以看到共享目录数量、共享资源数量、推荐目录和接口、信息资源；

• 统一用户管理：提供统一用户管理功能，实现统一组织架构、人员管理，对用户的属性、权限进行划分设定；

• 统一认证管理：提供对用户身份的统一管理与统一的系统用户身份认证服务；

• 整合资源管理：提供统一的数据资源整合服务，包括：资源检索、资源查询、资源展示、资源申请等；

• 统一审批管理：提供统一的流程审批管理功能，包括：流程发起、流程流转、流程审批等；

• 统一消息管理：提供统一消息管理功能，包括：消息类型管理、消息渠道管理、通用规则管理、自定义规则管理、消息过期、消息发送；

• 统一日志管理：提供多种日志记录方式，并支持日志提醒与日志分析、日志审计管理；

• 数据资产管理：提供数据资产管理功能，包括：数据资产分类管理、资产目录、资产地图、资产版本管理、资产统计管管理；

• 资源目录服务：提供资源目录服务功能，实现资源目录对外共享，并提供目录查询、目录统计等服务；

• 统一监控运维：提供统一监控运维功能，保证整个数据资源平台的稳定与高效运行，并提升数据资源全生命周期的保障执行力和运维效率。具体功能包括：

• 提供监控资源管理功能，支持资源模型的增删改基本维护操作，创建需要管理的资源对象，并对所有被监管对象进行集中管理；

• 提供基础资源监测功能，对整个平台所涉及到的服务器、存储、操作系统、中间件等基础实施进行监控；

• 提供应用系统监控功能，对平台的各个应用服务的运行情况进行监控，及时发现故障与风险，并告警；

• 提供监控告警管理功能，提供告警规则管理功能，实现告警规则的自定义管理和维护；

• 提供平台运维管理功能，负责对用户提交以及系统自动发现的故障或文件进行集中记录，可将故障分派给不同人员进行处理并对故障处理过程及结果进行跟踪管理。

总体建设方案

中心总体定位

区级大数据资源平台建设的核心是汇聚全区各类公共数据，建立面向政务顾问、经济发展、城市管理、社会公共服务与乡村振兴的数据资源库与数据服务。为智慧城市提供全面、高效、安全、智能的数据管理与应用支撑，是智慧城市建设总体战略与落地规划中的重要组成部分。

平台总体架构

区级大数据资源平台平台基于基础设施（网络&技术&存储）、技术标准体系规范及信息安全保障体系建设数据支撑底座、数据交换、数据资源中心（基础及融合数据库）、数据整理治理、数据服务、数据分析、数据共享应用及数据资源门户模块，并实现与S市大数据资源平台的共享与交换。

架构关系说明：

• 基于数据治理平台，搭建数据治理产线：各个委办局梳理资源，形成目录清单并制定数据治理相关规范，基于目录及规范搭建数据治理产线；

• 数据共享交换平台：数据治理/服务/分析平台设置数据归集调度任务，通过数据源采集数据到数据湖（数据资源中心）；

• 数据源：各个委办设置前置机放置源数据；

• 数据资源中心：对通过数据共享交换平台采集的数据进行存储；

• 数据基础支撑平台：数据治理/服务/分析平台通过数据基础支撑平台进行数据读取、处理与存储；

• 数据资源门户：通过治理后资源在门户进行展示，并为各个委办提供浏览及申请入口，同时经过申请的数据如果需要清洗/转换操作，则数据治理平台将根据治理规范及产线进行数据的加工处理，并将处理后的有效数据同步给门户；

• 数据共享交换平台：用户经过门户申请的数据，将通过数据共享交换平台进行数据的共享。

• 统一维护平台及数据安全管理将为整个数字区级大数据资源平台的平台建设保驾护航。

项目实施方案

在本项目中，首先需要建设一套大数据资源管理与应用平台，并基于大数据资源管理与应用平台，利用平台中的各类功能，通过汇聚数据、数据治理、数据开发与数据服务等手段，逐步建设各类区级数据资源（包括：数据湖、基础库、主题库、主题库等）。