企业大数据资产智能管理与治理平台项目建设技术解决方案WORD

原文《企业大数据资产智能管理与治理平台项目建设技术解决方案》WORD格式，主要从数据管理及数据智能两方面进行建设。大数据管理平台以元数据为基础，所有模块并不是串连，每个模块都可以单独或与其他模块组合使用。本平台建设方案可以为各类客户提供全面的数据管理解决方案，同时平台可在本地或云上使用。本文仅对主要内容进行建设。

来源网络公开渠道，旨在交流学习，如有侵权联系速删，更多参考公众号：优享智库

一、项目建设目标

城市大数据及大数据中心的运营成果要让决策者、行业用户和社会公众“看得见、看得清、看得懂”，因此需要实现大屏可视化，把区域内的静态和动态数据能够360度完美表现、采用易懂的表现形式和生动震撼的视觉传达，让人更容易记忆、理解和学习，从而实现企业大数据中心运行情况一套图展示。

二、项目建设内容

1.数据管理

数据资产管理

数据资产管理平台主要负责对数据资产进行统一注册和管理，实现数据资产体系化管控。主要包括数据资产注册管理、数据资产分类管理、数据资产查询、数据地图、数据资产分析、数据资产版本管理、数据资产变更管理、资产运行审计管理、资产统计分析，接口管理、数据质量等功能。

数据资产注册管理

平台提供数据源管理、数据资产注册管理、数据资产注册审核、生成数据库管理等功能。提供采集器、在线维护、自动注册接口等方式来注册数据资产。

数据源管理

平台提供对数据源注册管理的功能，主要是对数据提供者所在数据库、Hadoop库的注册管理。

数据库注册管理

主要负责数据库基本信息的注册配置，包含但不限于以下内容：

l 数据库类型

l 数据库版本

l 数据库服务IP

l 数据库服务端口

l 数据库SID

l 数据库表空间

l ……

数据资产分类体系

在数据资产的分类管理中，平台按照数据资产的生命周期对数据资产进行分层，即输入层、加工层和输出层。输入层是指数据从各个数据源抽取到大数据平台，输出层是指大数据平台数据输出到外部渠道或内部渠道，加工层指数据在大数据平台内进行加工处理的过程。

数据资产分类查询

平台提供数据资产分类查询功能，可通过选取分类标签中具体的属性标签对数据资产进行筛查。

2. 数据智能

数据血缘

平台提供血缘分析功能，通过可视化的图形界面，对数据资产及所有来源的关联数据资产进行展示，可帮助用户分析数据来源和定位数据质量问题。

元数据血缘分析

元数据分析算法包括以网状模式展示对象等血缘关系和以父子依赖关系展示对象等有向血缘关系。

智能标签

在数据资源的分类管理中，平台按照数据资源的生命周期对数据资源进行分层，即输入层、加工层和输出层。输入层是指数据从各个数据源抽取到大数据平台，输出层是指大数据平台数据输出到外部渠道或内部渠道，加工层指数据在大数据平台内进行加工处理的过程。

数据标签管理

平台提供数据标签管理功能，可对已导入的数据资产标签进行增加、修改、删除以及分类标签的导入导出功能，满足数据资产业务属性随业务发生变化时数据资产标签能够灵活变化。

标签模板管理

平台提供数据标签模板管理功能，可通过下载功能将标签模板导出为Excel文件格式，对数据标签进行编辑整理后批量导入到平台中，并提供对标签模板的增加、修改、删除等操作。

基础标签管理

开发以列表形式和智能推荐形式将平台中设置的基础标签进行呈现列表形式是将所有的基础标签一一列出，并可以按照热度进行排序智能推荐形式是指根据最近时间段内的标签的访问频率、搜索频率等，以轮播的形式循环展现热门标签的功能。

标签关系展现

开发通过标签将相关联的数据目录关联在动图中展现给用户，形成丰富数据盛筵的展示效果，做到通过一张图就可以将某一条数据的关联数据、以及数据之间的关系全部展示出来的功能。

开发通过标签访问次数统计出热门标签，让平台运维人员了解哪些标签是访问频率高的、是符合用户访问习惯的，并结合用户的搜索记录，优化标签设置，使之更通用和人性化的功能。

数据探索

平台提供了数据探索工具，支持用户通过数据探索工具对拥有权限的数据进行在线自助数据查询，工具记录访问日志。

在平台上用户可以在此页面通过各种过滤条件查询出自己权限范围内满足条件的报表，并进行对应的设为首页及关注操作。

画像分析

画像分析是面向业务的标签和画像管理中台，整合了多类型存储资源的数据，能够帮助企业构建业务标签体系。

平台中的画像分析功能同时内置完善的标签运营机制和灵活的圈群分析模版，适用于用户行为、设备管理、企业档案、地理分布等数据分析场景。

二、平台建设方案

1.数据资产管理

数据资产管理平台主要负责对数据资产进行统一注册和管理，实现数据资产体系化管控。主要包括数据资产注册管理、数据资产分类管理、数据资产查询、数据地图、数据资产分析、数据资产版本管理、数据资产变更管理、资产运行审计管理、资产统计分析，接口管理、数据质量等功能。

2.数据资产注册管理

平台提供数据源管理、数据资产注册管理、数据资产注册审核、生成数据库管理等功能。提供采集器、在线维护、自动注册接口等方式来注册数据资产。

三、服务场景方案

通过构建多种编目视图、一体化资源交换、可视化质量监控，辅助实施工程师、业务人员进行数据资产盘点，提升数据价值。

通过构建多种编目视图、一体化资源交换、可视化质量监控，辅助实施工程师、业务人员进行数据资产盘点，提升数据价值。

四、信息安全保障

项目的安全建设，在“以需求为导向，以应用为发展，统一规划，共同建设，加强协调，讲究实效，资源共享，安全保密”的指导思想下，遵循以下原则：

l 符合标准的原则

安全方案设计将严格遵循物联网行业领域的相关国家标准， 以使系统建设符合国家相关法规的要求，同时保证系统的开放性。

l 策略性、综合性和整体性原则

建立特殊行业专网安全与其它行业应用支撑平台， 需要先制定完整的、一致性的信息安全策略体系， 并且将安全策略体系和其他相关策略相协调， 建立完整的业务网安全防范体系。

l 系统先进性和实用性原则

在保证满足应用系统业务需求的同时， 体现出整体系统的先进性。将先进的技术与现有的成熟技术和标准结合起来，充分考虑到平台业务应用的现状和未来发展趋势。

l 系统可靠性和稳定性原则

整体设计中将选用成熟、高可靠性安全产品， 合理设计系统架构， 同时制定可靠的备份和容灾策略。

l 系统可扩展性和可伸缩性原则

采用模块化、标准化设计， 可以根据未来业务性能及安全需求的变化而变化， 实现平台的扩容和升级。

l 系统安全性和可管理性原则

综合采用各种先进的安全技术和产品， 加上制度和管理的保证， 保证平台的安全稳定运行。对于大规模部署的系统，采用集中管理平台，对系统中的网络设备、安全产品、应用软件等进行集中的管理和部署。

l 合理整合的原则

对原有的业务系统、网络及安全等设施进行合理整合。尽量减少对原有网络、系统性能的影响。并在安全与性能间作出权衡。

l 需求、风险、成本折衷原则

在设计信息系统安全时，要在安全需求、安全风险和安全成本之间进行平衡和折衷。此外要确保系统的安全，需要保证会议的保密性、真实性、合法性、不可否认性。系统主要从系统安全，数据安全，应用安全三个方面采取了相应安全措施。