多模态与大模型技术赋能企业数据资产平台建设

一、政策背景分析

2023年10月，国家数据局正式挂牌，负责协调推进数据基础制度建设，并统筹推进数字中国、数字经济、数字社会规划和建设等工作。这一系列政策措施表明，我国正在积极推动数据要素市场化，以促进数字经济创新发展。

此外，2023年12月发布的“数据要素×”三年行动计划明确了十二大试点产业，这些政策措施旨在显化企业的数据价值，改善企业财务报表，并促进企业的数据投资。这些政策背景为企业的数据资产管理提供了良好的外部环境，同时也对企业的数据管理能力提出了更高的要求。

二、企业数据资产运营平台架构思路

在当前数字化转型的大潮中，企业需要一个高效的数据资产运营平台来支持其业务的发展。该平台应具备以下几个核心功能：

首先，通过资产盘点摸清企业的数据家底，以提升数据管理水平；

其次，通过有效的数据治理来改善数据质量，从而更好地赋能业务，提高数字化竞争力；

再次，通过将数据纳入财务报表来增加企业的资产规模，为后续的数据交易流通提供定价参考；

最后，通过促进产业链协同来提升整体产业效能。

为了实现这些目标，平台建设应遵循“1+1+2”的思路，即梳理一个目录、打造一个市场、建设两套平台。其中，对内需建设一个数据资产管理平台，以支持盘点、治理和入表等统一管理；对外则需建设一个数据要素流通平台，以支持与产业链上下游企业的数据共享流通交易。

这种架构不仅能够有效提升企业内部的数据管理能力，还能促进外部的数据流通与协作，为企业创造更多价值。

三、统一多模技术赋能企业数据底座建设

“统一多模”技术赋能企业数据底座建设的核心在于通过整合多种数据模型和技术，提升企业在数据管理、存储和分析方面的能力。以下是这一技术的主要特点和优势：

• 1. 多模型支持

统一多模技术允许在同一平台上同时支持多种数据模型，包括关系型、文档型、图型和键值型等。这种灵活性使得企业能够根据不同的业务需求选择最适合的数据存储方式。

• 2. 统一接口

通过提供统一的接口层，企业可以简化数据访问和管理的复杂性。用户只需通过一个接口就可以访问不同类型的数据，减少了学习成本和操作复杂性。

• 3. 高效的数据处理

统一多模架构能够实现跨模型的数据处理和查询，支持复杂的联邦查询。这意味着企业可以在不同数据模型之间进行高效的数据关联和分析，提升数据处理效率。

• 4. 降低运维成本

传统的多数据库管理通常需要高昂的运维成本，而统一多模技术通过集中管理和资源调度，显著降低了运维复杂性和成本。

• 5. 提升数据治理能力

统一多模技术能够更好地支持数据治理，企业可以通过统一的数据管理策略，确保数据质量和安全性。同时，数据分类和分级也变得更加高效。

• 6. 支持智能化应用

结合大模型和人工智能技术，统一多模架构可以实现智能数据分析和推荐，帮助企业在数据驱动的决策中更具敏捷性和准确性。

四、大模型助力数据资产管理降本增效

当前大模型的落地，不仅限于某些行业，而是普遍应用于各个领域。利用AI的能力来提升数据资产管理的敏捷性、协同性和多样性是很多企业追求的目标。

以下利用大模型结合数据资产平台去赋能的方向点：

1. 数据采集阶段：数据资源智能盘点与编目

功能举例：通过AI技术，可以按系统归类、部门权属、业务实体、安全特性等维度生成目录。例如，识别空表、临时表、备份表等无效表，并补充有效表的业务含义，实现一键式、多视角、可配置的智能化识别与标注。

2. 数据开发阶段：NLP2SQL

非专业用户查询：通过自然语言处理技术（NLP），非专业用户可以在无需掌握数据库编程语言的前提下，通过自然语言自由地按需查询数据。这种技术可以显著提高数据的可访问性和使用效率。

大模型SQL任务执行准确率：利用大模型（如BLOOM、BELLE、ChatGLM等）来执行SQL任务，可以提高任务执行的准确率，尤其是在处理复杂查询时。

3. 数据治理阶段：数据分类分级大模型

敏感数据识别：利用AI大模型实现智能化、自动化的敏感数据识别，并进行数据分类分级。这种方法只需少量样本数据标注，语义理解能力强，识别效率高。
自动化注释生成：基于大模型的语义理解能力，结合企业内部数据字典等来预测业务语义，以提高数据注释的准确率。

五、典型案例分享

**案例一：**某头部运营商B域经分大数据平台案例

• 背景与需求：

Oracle+Hive架构性能遇到瓶颈，资源不堪重负，I/O吞吐量饱和，应用能力欠缺、内容单一，无法满足当前生产经营需要。
客户需求新经分基于“新平台”、“新技术”、“新功能”，构建经分“新体系”，实现“新定位”。

• 建设方案：

经营分析大数据平台基于“统一多模”技术搭建，满足PB级别以上的数据存储要求，具有很好的横向扩展能力，支持多种场景应用。
完成经营分析系统数据迁移，实现原经分系统的全部业务处理。

• 建设效果：

实现“五新”：新平台、新技术、新功能、新体系、新定位。
通过去Oracle云化技术架构升级，助力数据生产提质增效，日报发布时间提升3小时。
深化人工智能应用，实现智能搜索、智能推荐，提升服务感知；强化自助服务、在线分析能力，推进互联网化转型。

**案例二：**某头部金融客户大数据平台案例

• 背景：

某证券公司使用neo4j存储图谱数据，随着数据量增长和应用复杂度的提高，单机版的neo4j无法满足复杂查询的性能需求，不支持高细粒度的权限和资源隔离，限制了公司在知识图谱方面的研究和发展。
需要支持图数据与关系型数据的跨模型关联能力。

• 解决方案：

使用多模型大数据平台替代原有的neo4j数据库，通过统一的计算引擎配置不同的资源池，通过统一的安全管控组件配置不同图数据权限，以满足不同业务部门和应用的复杂使用需求。

通过统一的SQL编译器和计算引擎，完成跨模型任务在一个SQL内完成计算，避免应用层编写额外复杂的逻辑。

• 效果：

多模型大数据平台提供强大的多模型数据存储和查询能力，在复杂查询场景下性能远远优于neo4j，满足客户的多应用混合查询需求，同时也降低了开发运维成本。