数据资产价值释放新引擎：一站式智能平台赋能企业数字化转型_综合应用能力:支持元数据详细比对功能,支持模型变更管理,包括变更分析、变更详情-CSDN博客

本文链接：https://blog.csdn.net/ccddtomato/article/details/147063476

作者按

依托于国家战略、政策的指导，深入分析了市场趋势和客户需求，我们对自研产品进行了新的规划和设计，经过研发团队近一年对产品的不断打磨，数据智能平台产品近日完成了新的大版本迭代。新版本的数据智能平台，增加了很多新的功能，同时也对原有功能进行了调整，现已形成了从数据资源管理到数据价值开发，再到数据资产运营的覆盖数据全生命周期管理的能力。今天，小兵就为您详细介绍数据智能平台产品全面的能力，如果您对数据的管理、价值开发、运营变现感兴趣，有需求，欢迎后台联系小兵进行深度交流。

01 产品研发背景

国家战略层面：

发展数字经济,强化数据基础设施是我国的国家战略，党的十九大报告对建设网络强国、数字中国、智慧社会作出战略部署。实施国家大数据战略，大力发展数字经济，以信息化培育新动能，用新动能推动新发展。

数据要素市场层面：

中共中央、国务院印发《关于构建数据基础制度更好发挥数据要素作用的意见》（以下简称《数据二十条》），构建了数据基础制度，保障数据要素的安全和发展。《数据二十条》的出台标志着我国数据要素市场从无序自发探索进入有序规范的探索阶段。

企业数字化转型层面：

国家出台《关于加快推进国有企业数字化转型工作的通知》、《中小企业数字化转型指南》、《关于深化智慧城市发展推进城市全域数字化转型的指导意见》等一些列政策，鼓励企业提升数据治理水平，加速企业数字化转型。

企业数据资产化层面：

财政部印发的《企业数据资源相关会计处理暂行规定》正式将数据资源界定为企业数据资产入表的范畴，是对数据作为新型生产要素地位的权威认可，为数据做为资产进行入表、交易打下坚实基础。

财政部指导、中国资产评估协会制定的《数据资产评估指导意见》与《暂行规定》共同构成了数字经济落地“一体两翼”的政策实践，推动了数据资产化进程，促进数据要素价值释放。

02 需求分析

2.1 整体需求

数字化转型需求：技术重塑供需，企业需要全面数据驱动的业务和管理能力，来提升获客、降本增效、创新产品并最终获得市场优势。

数据资产化需求：数字经济促进数据产业发展，企业需要对数据的管理和运营能力，来提升企业竞争力，降低资产负债率，持续为企业带来数据资产交易、融资等能力。

数据作为企业新型生产要素，企业数据资产化是企业数字化转型主要环节之一

2.2 企业数据资产化痛点

企业数据资产化的痛点可以概括为面对海量数据，企业如何盘清有哪些数据资源、如何开发数据资源价值、如何对数据资产评估定价以及如何实现数据资产变现等方面。

2.3 企业数据资产化需求

企业需要从数据盘查、采集、存储、价值开发到最终运营变现的数据全生命周期管理能力。

03 产品整体设计

3.1 产品定位

数据智能平台产品旨在打造全域数据管理能力中心，为用户提供数据资产盘查、采集存储、数据综合治理、数据价值开发、数据应用开发、数据资产登记运营、数据资产评估入表等全链路一站式的产品+技术+方法论服务。

3.2 产品价值

3.3 功能架构

数据资源管理系统：做为数据智能平台的数据底座，面向大数据场景下海量、多源、异构数据，帮助企业盘清数据资源，集成接入各类数据，建立企业数据资源仓库，为企业提供统一的数据管理界面，为其他用户提供数据共享服务。

数据综合治理系统：融合元数据管理、数据标准管理、主数据管理等功能，可独立或任意组合使用，快速满足用户各类不同的数据治理场景。数据质量管理功能可以对数据质量进行评估并输出评估成果，验证数据治理成效。

数据建模分析系统：为企业提供数据分析和价值挖掘能力，通过可视化拖拽式的模型设计功能和丰富的预置算子，帮助用户降低建模技术门槛，轻松高效完成建模工作，快速响应业务需求。

数据开发分析系统：面向企业复杂的数据需求，为开发人员提供低代码且高灵活的算子定制开发能力，可以满足用户所有复杂的数据需求。支持热部署方式，快速响应业务需求。

数据应用开发系统：提供低代码工具、GIS工具、BI工具等数据应用开发工具，支持用户进行数据大屏、GIS大屏、领导驾驶舱、APP、小程序等数据应用的高效率开发。

数资价值评估系统：用于数据资产评估定价，通过规范化的数据资产价值评估方法，基于数据资产的成本因素、场景因素、市场因素和质量因素，对企业数据资产进行价值评估，并快速生成价值评估报告。

3.4 技术架构

前端：用vue2做为主框架开发，使用ElementUI组件进行页面快速搭建，Echarts做为图形报表绘制，Mxgraph做为模型画布绘制。

网络协议：主要使用TCP协议，其中普通业务主要用Http请求做为短连接进行请求发起；模型、微应用的运行日志以及运行结果由Websocket做为长连接进行实时交互。

后端：采用springcloud微服务架构，nacos做为配置中心，xxl-job做为定时任务控制，dubbo做为服务间API的RPC调用，rocketmq做为消息队列。

3.5 业务流程

1、主线业务：

（1）首先进行数据规划，制定数据标准和数据规则，之后通过多种数据集成方式采集数据；

（2）通过数据综合治理对采集数据进行治理，得到高质量数据，并存储形成数据仓库；

（3）并通过数据建模和数据开发挖掘数据价值，形成数据资产；

（4）对数据资产进行登记、价值评估，并最终完成数据资产入表和交易。

2、支线业务：

存储的数据可以通过API进行数据分享，也可进行数据质量评估；数据建模和数据开发可以为数据应用（数据可视化、数据分析等）提供数据支撑。

3.6 数据流图

04 产品功能介绍

4.1 数据资源管理系统

数据资源管理系统集成接入各类数据资源，建立企业数据资源目录，为企业提供统一的数据管理界面，为其他用户提供数据共享访问服务。

数据盘查：提供数据盘查工具和盘查模版，帮助企业盘清数据资源和集成对接信息；

数据集成：支持数据表集成、自定义SQL集成、文件数据导入、API集成和ETL等五种集成方式，支持全量和轻量两种数据集成模式；

数据存储：支持选择多种存储方式，包括数据连接配置、内部数据源管理、外部数据源管理功能；

数据组织：支持对数据分层分类管理，包括数据表管理、数据标签管理、数据标准管理等功能；

数据仓库：数据经过分层分类后进入数据仓库，并提供数据资源目录进行数据的快速查询定位。

4.2 数据综合治理系统

数据综合治理系统融合元数据管理、数据标准管理、数据质量治理、主数据治理等模块，各模块可独立或任意组合使用，满足不同的数据治理场景需求。

元数据治理：包含元数据维护、元数据查找、元数据分析、变更日志等功能，为数据资产管理提供元数据支撑。

主数据治理：包含标准管理、主数据维护、关系分析、索引创建等功能，保证各个系统间共享数据的一致性、通用性、可控性、正确性。

数据质量治理：通过建立评估标准，进行数据质量的评估和监测跟踪，既可用于数据质量提升，又为后续数据资产价值评估提供数据质量指标。

4.3 数据建模分析系统

数据建模分析系统通过可视化拖拽式的模型设计功能并提供丰富的算子库（包含基础算子和业务算子），帮助用户降低建模技术门槛，轻松高效完成建模工作，快速响应业务需求。

我的工作台：集中展示用户最关注的系统功能，包括我的资源、模型、应用和任务；

算子工坊：内置丰富算子库，包括基础算子和业务算子，支持算子的自定义功能；

模型工厂：模型的设计和管理功能，支持模型的可视化拖拽式设计。

模型训练室：制定训练任务，对模型和应用进行训练，支持训练结果查看和训练反馈功能；

应用市场：对已经上架的成熟模型和应用进行上下架和执行等管理。

4.4 数据开发分析系统

数据开发分析系统为开发人员提供低代码且高度灵活的算子定制化开发能力，支持脚本在线编辑和Jar包上传等方式进行算子开发。

算子开发中心：支持SQL脚本、Python脚本、HTTP（API）和上传jar包等方式创建和设计算子；

步骤管理：任务步骤的维护管理功能，可将多个步骤组合成步骤组；

任务编排中心：通过可视化拖拽的方式将步骤/步骤组进行组合和排序，形成可以满足业务需求的模型任务；

调度中心：对任务进行调度和监控，包括调度管理、任务执行、日志管理等。

4.5 数据应用开发系统

数据应用开发系统提供低代码工具、GIS工具、BI工具，可帮助用户高效完成APP、应用程序、软件平台、小程序、BI等数据应用的开发。

低代码工具：通过视觉化拖放工具、预定义的模块和组件、自动生成的代码和其他辅助功能来帮助用户降低编码工作量，简化应用程序的开发过程，包括预定义组件、可视化设计器、工作流管理工具、自动生成代码等功能；

GIS工具：提供基于GIS的各类专业的地图应用工具和分析工具，包括：专业地图工具、数据分析工具、位置轨迹服务、标准地址服务、地图基础服务等。

BI工具：提供数据大屏可视化工具，支持通过拖拽预置的图表组件和大屏模版，低门槛实现数据可视化设计工作。

4.6 数据价值评估系统

数据资产价值评估系统基于成本因素、场景因素、市场因素和质量因素对企业数据资产进行价值评估，保证评估准确性的同时，可快速生成评估报告。

数资评估对象管理：支持将多个数据资产组合，形成数据资产评估对象，评估对象是各类评估模型的评估主体；

评估模型管理：提供成本法、收益法、市场法等标准算法模型，通过可视化拖拽指标和算子的方式，进行评估模型设计；

数资评估任务管理：支持灵活的选择评估模型和参数指标，创建评估任务，可以通过质量评估系统的评估结果，辅助数据资产评估，提高评估准确度；

评估报告生成：评估流程结束后，系统会自动生成专业且规范的数据资产评估报告，支持报告的查询、预览及下载功能。

05 产品优势

多源异构数据集成：适配MYsql、Oracle、DB2、MogoDB、Hive等20+种数据源，同时支持数据表集成、自定义SQL集成、文件数据导入、API集成和ETL等多种集成方式；
全链条数据治理服务：数据治理搭配数据质量评估，打造一体化数据治理体系，从多个层面定义数据质量规则，对数据全生命周期各节点进行稽核和预警，通过严谨的数据质量评分机制，让数据治理有理有据。
多维度数据资产管理：通过数据资产目录、资产检索、资产溯源等功能清晰地描述数据资产，拉通业务元数据和技术元数据，帮助数据管理员轻松地管理与运营数据资产，实现资产可视、可找、可用、可运营。
强大的数据挖掘分析能力：数据建模分析系统面向常规数据需求场景，降低技术门槛，快速响应需求；数据开发分析系统面向复杂数据需求场景，灵活高效，可满足用户所有需求且无需重新部署，两者形成完美配合。
先进的数据资产评估方法论：基于成本因素、市场因素、场景因素，辅以数据质量评估结果，支持灵活的数据模型算子配置，提升评估结果的准确性，提高评估工作效率。
轻松部署并支持二次开发：全面适配各种底层存储计算平台，可灵活选择单机版或集群版，支持容器化部署，零基础也能轻松完成全套产品部署。平台架构支持二次开发，并提供完善、全面的材料，客户可按自身需求灵活扩展。