目录
1 总体建设方案概述
1.1 项目建设目标
1.2 项目建设内容
1.2.1 建设数据交换子平台
1.2.2 建设数据治理子平台
1.2.3 建设数据资源门户
1.2.4 建设数据资源中心
1.3 总体建设方案
1.3.1 中心总体定位
1.3.2 总体解决方案
1.3.3 项目实施方案
2 资源平台建设方案
2.1 平台总体架构
2.2 数据交换子平台建设
2.2.1 建设方案概述
2.2.2 数据交换配置
2.2.3 数据交换前置
2.2.4 数据共享服务
2.2.5 数据共享接口
2.2.6 数据交换监控
2.3 数据治理子平台建设
2.3.1 建设方案概述
2.3.2 资源目录管理
2.3.3 数据标准管理
2.3.4 元数据管理
2.3.5 数据质量管理
2.3.6 数据开发平台
2.3.7 统一调度管理
2.3.8 数据资产管理
2.4 数据资源门户建设
2.4.1 门户首页设计
2.4.2 统一用户管理
2.4.3 统一认证授权
2.4.4 整合资源管理
2.4.5 统一审批管理
2.4.6 资源目录服务
2.4.7 统一消息管理
2.4.8 统一日志管理
2.4.9 统一监控运维
3 资源中心建设方案
3.1 中心总体定位设计
3.1.1 总体设计
3.1.2 设计原则
3.1.3 设计思路
3.1.4 数仓设计
3.1.5 数据安全
3.2 建设XX区级数据湖
3.2.1 数据湖数据架构
3.2.2 数据湖数据范围
3.3 完成数据对接实施
3.4 建设XX区基础库
3.4.1 人口综合库建设
3.4.2 法人综合库建设
3.4.3 电子证照库建设
3.4.4 空间地理库建设
3.5 建设XX区主题库
3.5.1 主题库建设概述
3.5.2 主题库建设方法
3.5.3 一网通办主题库
3.5.4 一网统管主题库
3.5.5 城市规划主题库
3.6 建设XX区专题库
3.6.1 应急专题库概述
3.6.2 管理对象专题库
3.6.3 灾害事件专题库
3.7 三清单一目录梳理
3.7.1 建设背景
3.7.2 总体目标
3.7.3 梳理思路
3.7.4 梳理工作开展
3.7.5 一目录三清单梳理培训
3.7.6 一目录三清单梳理指导
3.7.7 一目录三清单梳理交付内容
3.7.8 梳理工作要求
本次区级大数据资源平台建设项目将围绕和遵循XX区智慧城市建设总体统筹规划思想的指导下,按照S市大数据中心对市区两级大数据资源平台建设统一标准规范的要求下,以实际需求为导向,搭建XX区大数据资源平台,加快推进与承接S市大数据资源平台的落地数据资源,归集区内各单位公共数据资源,按需实现共享交换,逐步构建形成XX区公共数据汇聚、整合、共享、应用、展示、评价为“六位一体”的大数据资源体系,并通过构建XX区数据基础库、专题库和主题库为核心的数据资产,充分挖掘与发挥数据应用价值,构建数据集成、数据共享、数据管理、数据决策的综合管理服务体系,确保大数据平台全面支撑XX区公共数据协同服务、城区管理协同服务、惠民数据协同服务和兴业数据协同服务,实现全区的业务数据闭环,为全区经济建设、规划布局,城市管理等实现全方位的数据赋能。加快推进实现如下要求:
1)聚:推进与市级人口、法人、空间地理库的数据集成,促进电子证照库对接利用;逐步推进视频数据、物联数据以及基层业务数据等采集汇聚;逐步推进XX区级各部门的数据汇聚。
2)管:构建一站式数据资产管理平台,通过与市级数据平台级联实现区内上报数据的落地,结合区内情况进行本地数据资产目录的管理,形成对数据的全生命周期管理,以及各环节安全监管。
3)通:实现基于应用场景的数据资源授权管理机制,推动公共数据按需充分共享。实现数据分级分类开放管理,扩展共享交换平台功能。
4)用:开展主题数据库建设,推动数据资源整合及数据分析应用。开展数据应用模型及算法研究,探索数据服务模式创新;推进区级跨部门数据智能应用的行业能力平台建设。
5)安:打造整体安全管控体系,保证平台上政务数据在数据汇聚、数据管理、数据共享、数据开放等全生命周期中的安全防护能力。
对于本次区级大数据资源平台的建设,将按照“总体规划一步到位,平台建设分步实施,数据赋能逐步升级”的原则,落实数据交换共享和协同应用需求,逐步提升区级大数据资源中心能级。初期先完成数据资源平台的搭建,后续依托基础平台的建设成果,逐步完善丰富XX区大数据资源、运营平台、管理机制、运维支撑、组织保障体系和典型智慧应用的建设。
区级大数据资源平台项目建设的主要目标是要搭建XX区统一的大数据资源管理平台并实现基础功能架构,出台相关管理办法,支撑全区各政务部门的数据共享需求;建立大数据资源中心,完成标准化数据仓库的建设,并构建基础及融合数据库,为全区的政务处理、经济发展、社会民生、城市管理、乡村振兴等实现数据赋能。
- 建设统一的大数据资源管理与应用平台:建设包含数据支撑底座、数据交换子平台、数据整理治理子平台、数据服务子平台,数据分析支撑子平台以及数据资源门户为核心功能的大数据资源平台,实现大数据综合管理与服务功能;
- 启动区级大数据资源中心建设:完成标准化数据仓库的设计与规划建设,并完成与区各委办业务与管理系统、S市大数据资源平台以及物联网相关平台数据的对接,汇聚各类业务数据,构建区级大数据资源中心;
- 在XX区资源中心数据湖基础上,建设基础数据库,包括人口综合库、法人综合库、电子证照库以及地理空间库,为全区各政务部门提供人口、法人、证照与地理空间相关的数据服务;
- 在区级资源中心数据湖以及基础库的基础上,持续深入大数据资源的建设与应用探索,基本完成支撑全区一网通办、一网统管、城市规划、应急指挥等主题的资源归集,并形成相关的专题库和主题库;
- 建立统一的政府数据信息资源目录,建立动态更新机制,明确全区各部门可向其他政府机构共享的公共数据,建立全区统一的数据交换共享平台及数据中心,对上对下实现垂直共享,横向打通各部门间的数据交换共享,实现部门间业务协同和指挥联动;
- 充实现有管理功能,形成共享工作体制和制度。
建设全区统一的数据数据交换子平台,形成公共数据归集、交换、共享的核心枢纽;打通全区各单位之间数据资源共享通道,实现双向数据互通。具体,在本次区级大数据资源平台建设项目中,数据交换子平台的建设内容包括:
- 数据交换配置:提供数据交换配置功能,能够提供对于交换周期,时间的交换策略配置、接口配置交换任务配置功能;
- 数据服务管理:提供数据服务管理功能,将清洗后的数据以及场景化分析后的数据注册为数据服务,统一进行管理与对外共享;
- 数据共享接口:将清洗后的数据以及场景化分析后的数据注册到服务管理系统中,统一进行对外共享,并且对共享行为进行统一管理和审计;
- 数据交换监控:提供数据交换监控功能,实时监控交换过程中核心服务运行状况,包括交换平台整体运行状态、交换域运行状态、交换节点运行状态、交换流程运行状态等,保障数据交换稳定。
建设大数据治理子平台,提供数据标准管理、元数据管理、数据质量管理能力,实现对数据的规范治理与管理;提供数据工厂能力,实现对归集的数据进行清洗、加工,支撑业务的数据应用需求。具体,在本次区级大数据资源平台建设项目中,数据治理子平台的建设内容包括:
- 资源目录管理:提供资源目录管理功能,包括:资源编目、目录提交、目录审核、目录发布、目录汇总、目录查询等;
- 数据标准管理:提供数据标准管理功能,包括:字典标准管理、命名标准管理、维度标准管理及数据项标准管理;
- 元数据管理:提供元数据管理功能,包括:元数据正向采集、元数据维护、元数据查询、元数据导入/导出、元数据血缘分析;
- 数据质量管理:提供数据质量管理功能,包括:质量模型配置、质量规则管理、方案配置调度、质检结果查看、质检分析报告;
- 数据开发平台:提供数据开发平台能力,支持可视化开发和原生态开发两种开发模式,实现原生态开发与可视化编排的互相转换;
- 统一调度管理:提供统一调度管理功能,提供流程设计与管理、调度策略管控、任务调度控制、等功能模块。
建设统一的数据资源门户,有效集成整合各子平台应用功能模块,数据资源目录整合、统一用户账号、组织架构、角色权限、业务流程、信息展示以及统一运维等方面的管理,全面打造面向各单位工作人员的一体化统一数据管理与应用门户。
利用数据资源门户推动全区公共数据和社会数据的交互和开放使用,加强政企数据互动、加快统一公共数据归集、强化数据管理治理、探索数据应用,促进数据共享协同与开放,为提升全区政府治理能力,实现管理向服务转变提供支撑。具体,在本次区级大数据资源平台建设项目中,数据资源门户的建设内容包括:
- 门户首页:提供门户首页,在首页可以看到共享目录数量、共享资源数量、推荐目录和接口、信息资源;
- 统一用户管理:提供统一用户管理功能,实现统一组织架构、人员管理,对用户的属性、权限进行划分设定;
- 统一认证管理:提供对用户身份的统一管理与统一的系统用户身份认证服务;
- 整合资源管理:提供统一的数据资源整合服务,包括:资源检索、资源查询、资源展示、资源申请等;
- 统一审批管理:提供统一的流程审批管理功能,包括:流程发起、流程流转、流程审批等;
- 统一消息管理:提供统一消息管理功能,包括:消息类型管理、消息渠道管理、通用规则管理、自定义规则管理、消息过期、消息发送;
- 统一日志管理:提供多种日志记录方式,并支持日志提醒与日志分析、日志审计管理;
- 数据资产管理:提供数据资产管理功能,包括:数据资产分类管理、资产目录、资产地图、资产版本管理、资产统计管管理;
- 资源目录服务:提供资源目录服务功能,实现资源目录对外共享,并提供目录查询、目录统计等服务;
- 统一监控运维:提供统一监控运维功能,保证整个数据资源平台的稳定与高效运行,并提升数据资源全生命周期的保障执行力和运维效率。具体功能包括:
- 提供监控资源管理功能,支持资源模型的增删改基本维护操作,创建需要管理的资源对象,并对所有被监管对象进行集中管理;
- 提供基础资源监测功能,对整个平台所涉及到的服务器、存储、操作系统、中间件等基础实施进行监控;
- 提供应用系统监控功能,对平台的各个应用服务的运行情况进行监控,及时发现故障与风险,并告警;
- 提供监控告警管理功能,提供告警规则管理功能,实现告警规则的自定义管理和维护;
- 提供平台运维管理功能,负责对用户提交以及系统自动发现的故障或文件进行集中记录,可将故障分派给不同人员进行处理并对故障处理过程及结果进行跟踪管理。
在本次项目中,我们需要制定全区公共数据汇聚的标准规范和管理制度,归集全区各单位的政府公共数据,形成XX区的数据资源湖。同时经过对数据进行清洗、转换、融合、治理后,形成高质量的公共数据资源,构建形成标准化数据仓库。
基于全区的数据资源湖,利用经过治理后的数据,可以针对某一特领域的业务数据共享、应用需求,按主题归集形成专题库和主题库,并面向政务部门及社会进行数据开放。此外,我们还将持续开展、深入区级大数据的应用探索,围绕跨部门、跨领域、跨行业的数据应用需求,对数据实体进行数据关联、数据融合和衍生计算,生成算法标签,逐步建立不同领域的应用专题或主题库构建面向全区多部门提供统筹的数据共建共享共用的数据服务。具体,在本次区级大数据资源平台建设项目中,数据资源门户的建设内容包括:
- 建立XX区级数据湖:构建全区公共数据的存储与计算空间,支撑各类数据资源的汇聚存储、处理计算与查询应用,并依据部门类别、数据源类别等提供资源隔离的多租户数据应用空间;
- 完成数据对接的实施:完成与区各委办业务与管理系统、S市大数据资源平台以及物联网相关平台数据的对接,汇聚各类业务数据,形成全区公共数据资源池;
- 建设基础库:建设全区统一的基础人口综合库、法人综合库、电子证照库以及地理空间库,支撑全区人口、法人、电子证照与地理空间等数据相关应用;
- 建设主题库:建设全区统一的产业经济主题库、电子证照主题库、权力事项主题库等,支撑全区产业经济相关数据应用。
区级大数据资源平台建设的核心是汇聚全区各类公共数据,建立面向政务顾问、经济发展、城市管理、社会公共服务与乡村振兴的数据资源库与数据服务。为智慧城市提供全面、高效、安全、智能的数据管理与应用支撑,是智慧城市建设总体战略与落地规划中的重要组成部分。
针对区级大数据资源平台的建设,我们将基于当前主流的大数据技术框架为XX区搭建一个大数据管理与应用平台。利用数据平台的数据采集功能,将XX区各级政府单位的政务数据、城市管理相关的监控视频等物联数据、企业事业单位数据,互联网等社据汇聚起来,形成统一的XX区级大数据资源池。
之后,在利用平台的数据治理与建模开发能力,将采集到的数据有效地进行分类整理与融合,构建诸如综合人口库、产业经济主题库、旅游数据库、菜园花鸟数据库,乡村产业经济振兴库等数据应用服务,并利用统一门户将相关数据应用对外开放,向XX区各级单位、企事业单位等用户提供数据服务,由此构建XX区的数据资源中心,实现对全区政务等数据的集中汇聚、统一管理与共享利用,为全区政务处理与经济发展提供数据支撑。具体,本次项目的解决方案蓝图如下:
区级大数据资源平台平台基于基础设施(网络&技术&存储)、技术标准体系规范及信息安全保障体系建设数据支撑底座、数据交换、数据资源中心(基础及融合数据库)、数据整理治理、数据服务、数据分析、数据共享应用及数据资源门户模块,并实现与S市大数据资源平台的共享与交换。
架构关系说明:
- 基于数据治理平台,搭建数据治理产线:各个委办局梳理资源,形成目录清单并制定数据治理相关规范,基于目录及规范搭建数据治理产线;
- 数据共享交换平台:数据治理/服务/分析平台设置数据归集调度任务,通过数据源采集数据到数据湖(数据资源中心);
- 数据源:各个委办设置前置机放置源数据;
- 数据资源中心:对通过数据共享交换平台采集的数据进行存储;
- 数据基础支撑平台:数据治理/服务/分析平台通过数据基础支撑平台进行数据读取、处理与存储;
- 数据资源门户:通过治理后资源在门户进行展示,并为各个委办提供浏览及申请入口,同时经过申请的数据如果需要清洗/转换操作,则数据治理平台将根据治理