2023数据库发展趋势

出品 | 智识神工官方博客

近几年，数据库市场规模持续增长。据 IDC 统计，2021年，全球数据库管理软件市场规模为 646 亿美元，同比增长 17.4%，预计在 2025 年超 1000 亿美元。中国大陆市场占比 6.7%，约 43 亿美元，增速最快（41.4%），预计在 2025 年超过 100 亿美元。

在国内，由于国产化、数字化等政策的推动，数据库系统的发展被高度重视。本篇文章将分别以数据库的内部视角和外部视角，来整理和分析数据库的发展趋势。

从内部视角看数据库发展趋势

通过研究数据库内部的架构和技术趋势，我们可以对于未来数据库系统的创新和提升获得一定的参考。具体地，我们将从不同应用场景数据库的统一、多个数据模型的整合以及与新兴技术的结合方面，来讨论数据库内部的架构和技术趋势。

不同应用场景数据库的统一

图1 不同应用场景数据库的统一

上世纪，数据库产品刚诞生时，其存储的主要是与业务直接相关的数据，被划分为 OLTP databases（业务型数据库）。不久后产生了 OLAP databases（分析型数据库，也称数据仓库），存储的主要是用于业务反馈和辅助决策的数据，其数据主要来源于 OLTP 数据库。随着大数据时代的到来，Data lakes（数据湖）产生了，它储存不同类型和来源的、原始格式的大量数据，当使用数据时需要导出。

考虑到从 OLTP 数据库搬运数据到 OLAP 数据库的开销问题，HTAP databases （业务分析混合型数据库）出现了。考虑到从数据湖搬运数据到 OLAP 数据库的开销问题，Data Lakehouse 出现了，它被称为数据湖仓。

HTAP 数据库和数据湖仓都是不同应用场景数据库统一的范例。这样做的好处是减少数据冗余和运维成本。

多个数据模型的整合

在数据库中，一个数据模型描述的是一种管理数据的方式，简单地说就是存储和查询数据的方式。一般地，管理不同类型的数据（如关系型数据和图数据）采用的是不同的数据模型。将多个数据模型整合到一个数据库中，它便能管理多种类型的数据，减少了用户的使用成本和运维成本，这种数据库被称为多模数据库 (图2)。

图2 数据库的多模趋势。图中的实线圈表示一些多模数据库管理的数据类型，并不完全。图中的虚线圈表示未来数据库系统的目标可能是把所有数据类型囊括在内。

值得注意的是，整合多个数据模型的方式不同，例如，有些多模数据库采用单一存储引擎而有些采用多个存储引擎。

与新兴技术结合

云原生和分布式：获得云原生和分布式系统的灵活、高容错、易管理维护等优点。

AI：一方面，在数据库各环节采取 AI 技术提升易用性，减少运维成本（AI4DB）。另一方面，提供向量数据库、图数据库等为AI应用提供载体（DB4AI）。

新硬件：采用 SSD、GPU、FPGA 等硬件用于存储/计算，提升性能。

新安全：包括区块链数据库，全加密数据库等。

端边云计算：端边云数据库为需要端侧实时存储计算的场景（如物联网应用）提供支持。

从外部视角看数据库发展趋势

笔者认为，数据库属于数据管理的一个重要部分，数据管理是为数据利用服务的（见图3）。数据管理、数据利用这两层的变化可能会影响数据库的未来发展。（本文将不讨论更高的层级。）

图3 一种数据管理与利用模型。3a和3b分别是模型的总体和具体视图。

数据管理

数据管理的概念在上世纪数据库诞生不久后便出现了。2019年以来，国家逐步推进数据资产化，相应地，数据资产管理的概念逐渐完善。数据资产管理与原有的数据管理的主要区别之一为，数据资产管理除了要保证数据的质量和安全外，还需保证数据资产的权属不被侵犯。传统的访问控制可能无法满足数据资产管理的安全需求，这可能要求未来的数据库采用新安全措施来适应未来数据资产管理的标准。

数据利用

数据利用包括数据的整合、分析决策和可视化等，其主要趋势为智能化。例如，数据整合方面，有全自动化 ETL 工具和实时整合工具等；分析决策方面，有对非结构化数据的分析利用和可解释 AI 分析等。这要求数据库满足新时代智能化数据利用所提出的要求，如提供多数据模型的统一接口，为 AI 分析提供合适类型的数据存储计算等等。

总结

我们通过数据库的内部和外部视角整理和分析了数据库的发展趋势。主要趋势包括不同应用场景数据库的统一，多个数据模型的整合，与新兴技术的结合（包括云原生与分布式，AI，新硬件，新安全，端边云计算等），对未来数据资产管理提供支持，和对新时代智能化数据利用提供支持。