2024年,数字经济进入新阶段,AI正走向前所未有的繁荣,数据作为关键生产要素的价值日益凸显,“AI+企业数据”的应用席卷全球,正在重塑企业发展模式,成为企业未来发展的核心竞争力。
6月25日,数巅科技2024智领未来线上峰会暨新品发布会隆重召开,数巅科技发布了端到端的企业大模型解决方案以及生成式智能分析AskBI。数巅科技技术工程副总裁江进对企业大模型解决方案的核心模块X-Engine做了深度分享,以下是他的演讲实录。
业界涌现出诸多大语言模型,大语言模型与企业数据结合产生的应用已屡见不鲜,但如何高效、精准地将企业数据与大语言模型相融合,依然颇具挑战性:
- 企业知识难以融入:实时经营管理数据、内部私有数据等难以用于大模型能力训练。
- 数据资产不统一:存在质量参差、收集目的不同、非标准化、非结构化、互相隔离等问题。数据存储在不同的数据库和计算引擎中,读取的方式各不相同,缺乏统一的大模型读取接口。
- 数据口径不统一:存在大量同名不同义、同义不同名、口径不清晰、命名难理解、逻辑不准确、数据难追溯的问题。
我们认为智能数据虚拟化技术是解决这一挑战的关键:
- 统一:将异构数据源虚拟化,沉淀统一语义的数据资产。
- 自动:根据业务语义实现资产即刻自动扩充,驱动自动化工具。
- 高效:智能加速实现数量级的性能提升,大幅节省计算和存储空间。
面向大模型的下一代数据虚拟化引擎:X-Engine
为此,数巅科技自主研发了面向大模型的下一代数据虚拟化引擎X-Engine,其关键能力包括:
- 全面虚拟化引擎:解耦数据资产与物理实现,在此基础上构建流批一体、全时指标以及数据权限自动化管理能力。
- 资产定义即服务:可统一资产语义、自动去重、跟踪血缘、避免二义性,根据业务语义实现资产自动生成及扩充,随用随算。
- 高性能多模实时存储:完全自主研发的业界领先的存储系统,可提升读写的复杂度和速度,性能达业界同类产品的5-10倍。
X-Engine的核心功能
多源数据接入管理
- 一键接入各种数据源,多种主流数据源可管理:支持Flink、Hive、Hologres、kafka、MySQL、Oracle等。
- 各种数据统一管理:支持离线和实时数据源统一管理与建模。
流批一体
- 使用简单:流数据和批数据都可以使用虚拟表的概念进行访问,降低开发复杂度,逻辑统一。
- 灵活配置:支持使用SQL统一处理流和批的计算加工过程,支持灵活的过滤、聚合、关联操作。
- 计算高效:依靠高速存储和计算引擎,实现更加高效的计算和更高的系统吞吐。
处理实时数据的团队和处理离线数据的团队往往隶属于不同的团队,对于同样一个业务逻辑,一个实时指标和一个离线指标通常是需要在两个不同团队间实现的。如果这个时候需要修改逻辑,就需要在不同的地方进行修改,这就造成了逻辑不统一的情况出现,带来了计算口径不一致的问题。
通过流批一体的虚拟表,把流表和批表统一在同一个虚拟表的逻辑下面,就可以实现逻辑的统一,并降低开发难度。
大模型友好的指标建模
- X-Engine指标建模按照维度列、度量列、时间列的方式来划分和定义,更容易被大模型理解,同时也占用更少的存储空间。同时对于指标增加了比例,指标组等标签,更好地为大模型服务。
- 灵活添加指标度量和指标维度,无需预计算。
数据资产管理
- 一站式:了解所有数据资产在哪里、有什么、是什么。
- 字段级血缘:从数据入口到数据出口全打通全路径。
X-Engine高性能背后的黑科技
智能物化
物化是对逻辑建模进行加速的过程,智能物化技术是虚拟化引擎必要的技术。如果没有物化使用支持,对于虚拟表的访问将直接打到原始数据层上面,与现有系统相比,毫无疑问会导致性能的回退。
我们会根据用户访问的pattern和自然血缘来决定哪些字段要被物化。对于虚拟表的访问,尽可能会转化成对物化视图的访问。通过虚拟表和智能物化技术,我们可以在不降低现有系统性能的情况下,减少现有系统中大量重复的计算和存储。
高速的行列混存
- 自研的行列混存系统,根据用户数据和场景选择行存或者列存来存储。
- 同时支持分布式大数据量的离线查询,以及低延迟高并发的在线查询。
- 独创的专利技术,相比同类产品能够提高3-10倍的存储和并发。
数据虚拟化引擎X-Engine解决了大数据和人工智能领域的基础软件核心难题,其核心“多模态实时存储虚拟化引擎”完全由数巅科技自主研发,从底层存储到上层应用的核心代码也全部自研,部分领域达到了国际领先水平,解决了大数据计算存储领域的卡脖子问题,能够确保国内用户使用的安全、自主可控。