云原生智能数据管理平台

本月发布 7 项更新，其中重点发布 2 项、功能优化 3 项、性能优化 1 项、其他发布 1 项。

SQL标准1986年制定第一版，到最新的2023版，已经有38年的历史，现在依然是计算机非常活跃的语言，50%的程序员都能掌握SQL，数据分析师也是SQL的主要使用人员之一。从早期的基本语法，到融合了XML、JSON等复杂数据类型，存储过程标准，元数据标准等等等，SQL语言规范发生巨大的变化，。

alloydb_scann”扩展程序（以前称为“postgres_scann”）已正式发布（GA），如需详细了解如何存储向量嵌入、创建索引以及调整索引以实现更快的查询性能和更好的召回率，请参阅使用向量。此扩展可让您更新物化视图，其中仅计算增量更改并将其应用于视图，而不是从头开始重新计算内容 ([12] [13] )，声称在构建HNSW/IVFFlat索引上，速度、精准度都超越pg_vector，并解决了pg_vector长期存在的偶发性返回错误结果的问题( [1] )。当前白名单开放中([7])

创建复制任务时，支持选择 MySQL 的库表分组，可从多个分库分表中将数据复制到其他的分库分表，或聚合到另一个 MySQL 实例中。在复制任务的增量阶段，支持一键重新同步指定表，主要用于两端数据不一致过多的情况下重新复制整张表，以快速修复不一致。数据复制功能新增支持将 Oracle 中的数据复制到 Kafka，实现数据的实时流转和分发，支持全量和增量。本月发布 3 项更新，其中重点发布 3 项。

以提升产业链供应链韧性和安全水平为重点，围绕石油、化工、航空、船舶、钢铁、汽车、医药、轨道交通等关系经济命脉和国计民生的行业领域，推动基础软件、工业软件和工业操作系统更新换代。轻工行业：包括家电、皮革、造纸、五金制品、塑料制品、电动自行车、电池、日用陶瓷等。石化化工行业：包括炼化、煤化工、氯碱、纯碱、电石、磷肥、轮胎、精细化工等领域。钢铁行业：涉及铁矿采选、铁合金冶炼、焦化、烧结、球团、炼铁、炼钢、轧钢等工序。食品行业：包括生物发酵、乳制品、酿酒、制糖、制盐、罐头、饮料等领域。

纵向的，与5月份的测试对比，性能较为稳定，没有太大的波动。Azure的实例有着很多厂商类似的CPU代差导致的性能波动问题，在202409的测试中CPU计算能力指标为56.3，相比202405表现的63.9，也下降了12%，Azure Database for MySQL的Sysbench QPS性能也随之下降。该测试很好的展示了不同云厂商之间RDS MySQL性能差异，甚至在同一个云厂商的不同区域，甚至在同一个云厂商的同一区域不同时间建立的实例，其性能都可能会有一定的差异。百度云RDS提供非常稳定的性能。

RDS MySQL全面升级了全球多活数据库（简称GAD）产品，GAD基于RDS与DTS产品打造，融合了灾备与多活两大能力，作为一站式、高性价比的灾备与多活解决方案，为用户提供全面的灾备和多活数据库服务。，产品基于RDS与DTS实现，为用户提供一站式、高性价比的灾备与多活解决方案 ([5])。此外，RDS MySQL还发布了列加密([6])，集群版新增库表恢复等功能([4])。Redis 4.0及以上版本的单机、主备、读写分离、Proxy集群实例，支持通过ELB实现Redis公网访问 ( [25] )

原先 2x2 的分片系统迁移到 3x3 的过程中，系统通过目标分库分表的路由算法重新计算哈希值，确保每条数据进入对应的新分片，最终顺利完成了这项艰巨的任务。最初的分库分表策略是按照买家 ID 进行分片的，但随着业务的深入，发现用卖家 ID 进行分片更加合适，这种情况下，需要先重新调整分片逻辑，再将原来的数据迁移到新的分库分表中。上述场景都是比较常见的分库分表迁移需求，虽说是刚需，支持这种场景的好用的工具却不多，主要原因在于分库分表的复杂性涉及数据分片、业务逻辑、数据一致性等多方面问题。源库的分库分表配置。

生成式 LLM 是一个函数。它采用文本字符串作为输入（在 AI 术语中称为“prompt”），并返回字符串和数字数组。此函数是确定性的。它在后台做了很多数学运算，但所有这些数学运算都是硬性的。如果你使用相同的 input 重复调用它，它将始终返回相同的输出。任何一直在使用 ChatGPT 和类似产品的人都可能会感到惊讶，因为它们可以对同一个问题给出不同的答案。然而，这是真的。我们很快就会看到它是如何工作的。

Larry发表主题演讲《Open MultiCloud Era & AI + Cloud Security》，强调了Oracle Cloud将继续支持客户的多云战略，同时也发布了Oracle@Google、Oracle@Azure、Oracle@AWS；同时发布了多种类型的私有云方案( [23] )ARS（Autonomous Recovery Service）开始支持多个云平台上的Oracle数据库的备份恢复管理，包括Azure、Google Cloud等([9])

TDSQL-C MySQL 版8.0内核(TXSQL)版本更新为3.1.15：新增回收站功能、新增并行 DDL 功能、支持全局索引功能、支持 Nonblocking DDL 功能、支持 BP 隔离功能、支持闪回查询功能、支持关联子查询结果缓存功能、支持 column 语法 ([39])：新增回收站功能、新增并行 DDL 功能、支持全局索引功能、支持 Nonblocking DDL 功能、支持 BP 隔离功能、支持闪回查询功能、支持关联子查询结果缓存功能、支持 column 语法 ([3])

过去，将功能分割为 Core 和 Enterprise 不可避免地影响了使用 CockroachDB 的体验。通过合并为一个 CockroachDB Enterprise 产品，我们确保所有用户都能访问我们产品的全部功能和范围，并通过简化的试用体验交付。个人和小型企业现在将受益于以前仅付费客户可用的功能，但仍可免费使用 CockroachDB。参考文章。

大会将设置2大主会场和20+技术专场，涵盖向量数据库与向量检索技术实践、数据治理与数据资产管理、云原生数据库开发与实践、特定场景下的数据库管理与优化、大数据平台建设等前沿议题。通过这些功能，可以轻松完成日常数据库开发、数据安全访问、生产数据库变更与发布、数据库备份恢复、数据迁移、容灾多活、数据仓库及数据湖构建等核心应用场景。本次NineData分享将阐述数据库 DevOps 的概念与实践，并通过多个企业在数据库DevOps实践的经验介绍，以帮开发者能够更安全、更高效的实现数据库访问与管理。

Google大模型 Gemini支持了（公测）托管MySQL、PostgreSQL数据库的查询洞察、索引顾问、系统洞察等功能，帮助开发者利用大模型进行状态查看与问题排查 ( [8] )，你可以在Oracle云上新建一个长期的1c8g的免费MySQL实例，同时实例还附加一个16GB的HeatWave节点，该实例为单可用区，没有HA能力 ( [14] )托管PostgreSQL支持长期数据备份归档存储(公测) ( [9] )托管PostgreSQL支持存储空间自动增长(GA) ( [10] )

本月发布 12 项更新，其中性能优化 3 项、功能优化 8 项、安全性发布 1 项。NineData云原生智能数据管理平台发布12项重大更新！性能飞跃，SQL Server、Doris、SelectDB、StarRocks及Oracle数据复制性能大幅提升，优化至5000+ RPS。功能全面升级，新增数据源权限管理、AI辅助SQL代码审核、复制任务进度可视化、多对象搜索及PostgreSQL表结构设计优化等。同时，强化安全性，推出数据导出文件加密功能，确保数据安全无忧。

聆听最新产品发布与主题演讲get行业头部客户案例的精彩分享与各届优秀同行们现场交流⼼得与资深MongoDB⼯程师面对面答疑解惑⼀起把MongoDB的酷炫周边收⼊囊中！……欢迎所有MongoDB用户、爱好者以及想要学习、提升MongoDB技术的人以上全部免费参与，精彩不容错过！

大会将设置2大主会场和20+技术专场，涵盖向量数据库与向量检索技术实践、数据治理与数据资产管理、云原生数据库开发与实践、特定场景下的数据库管理与优化、大数据平台建设等前沿议题，为参会者提供一场年度的技术盛宴。通过这些功能，可以轻松完成日常数据库开发、数据安全访问、生产数据库变更与发布、数据库备份恢复、数据迁移、容灾多活、数据仓库及数据湖构建等核心应用场景。本次大会将围绕数据库内核技术、向量数据库、分布式数据库、云原生数据库等前沿领域展开深入探讨，为参会者揭示未来数据库技术的发展方向。

但MySQL凭借着其广泛的使用度，依旧在初学者学习的数据库中占据第一 ( [2] )Cloud SQL for SQL Server 实例上支持 扩展事件 (XEvents) 来监控、识别和排查实例上数据库的性能 ([8] )在Ops Insights中，支持了HeatWave MySQL的SQL Insights 和 Capacity Planning ([18])托管PostgreSQL支持最新的小版本，包括16.3, 15.7, 14.12, 13.15, and 12.19 ( [5] )

Cloud SQL Studio 现已 正式发布，支持GCP上的托管MySQL、PostgreSQL、SQL Server等数据库的简单查询管理：参考.([7] )([2] )，该公司以开源产品的形式提供完整的PostgreSQL生态产品托管服务，同时提供Tembo Cloud以云产品形式提供托管服务 ( [2] [3] )。数据库迁移服务引入新的API版本，支持了MySQL数据库更多高级参数支持 ([16])托管MongoDB服务支持了批量退订实例、批量续费实例等功能 ( [5] [6] )

二十年前，我们中的一员（Stonebraker）共同撰写了一篇论文(What Goes Around and Comes Around)，评论了过去40年的数据建模研究和开发[188]。该论文表明，尽管有人试图替换它们，但关系模型（RM,Relational-Model）和SQL仍然是数据库管理系统（DBMS）的主流选择。相反，SQL吸收了这些替代方法中的最佳思想。我们重新审视这个问题，并认为自2005年以来，这种演变一直在继续。再次有人反复尝试替换SQL或RM。

云数据库RDS MySQL 提供无感数据集成（Zero-ETL）功能，用于将RDS数据同步至数据仓库（AnalyticDB MySQL或ClickHouse），用户无需搭建或维护数据同步链路，且数据同步链路不收费，减少数据传输成本和运维成本 ([5])在瑶池数据库解决方案体验馆中，新增RDS PostgreSQL Serverless极致弹性体验，您无需购买任何资源，即可在线体验Serverless功能的智能弹性能力，并可实时观测Serverless实例的性能与资源使用情况 ([8])

7月12日~7月13日，2024年 PostgreSQL 中国技术大会将在杭州上城区君尚云郦酒店举办，共同探索 PostgreSQL 的创新应用与发展趋势！NineData 联合创始人周振兴受邀参会，并将带来《实时数据同步方案的挑战与实践》的主题分享。

分享个比较常见的案例。某天，企业运营团队接到用户反馈订单无法查询，部分页面显示错误，技术团队立马着手恢复数据，并展开调查，通过分析应用日志发现大量关于“订单数据不存在”的错误信息，然而应用程序未存在异常，转到 DBA 团队进行处理，DBA 通过查询订单数据表，发现大量订单数据缺失，分析 Binlog 日志，发现某个时间点存在大量的 DELETE 操作。目前互联网企业中，真正能够规范使用数据库的并不多，有很大一部分企业并未意识到这个问题，有些研发人员甚至直接进行生产环境的变更，这样会引发一系列的问题，例如。

阿里云MongoDB以其国内领先的版本更新速度和丰富灵活的云原生架构成为用户的优选，并服务于企业数据的安全传输、高效管理、多粒度备份恢复、智能诊断分析等全流程，进一步简化了开发者的操作流程。介绍了面向MongoDB的不停机迁移及同步原理，针对MongoDB迁移和同步过程中常见的挑战，如DDL同步、视图索引复制和数据一致性保障等，提出了切实有效的解决方案，●首先，MongoDB支持多种结构化和非结构化数据，包括标准化的业务数据、不规范的设备信息、结构多变的模型数据等，灵活支持各行各业复杂的数据需求。

如何避免删库跑路，这几乎是一个老生常谈的话题，也是大部分上了规模的企业都很关心的话题，京东到家、微盟、链家、思科... 在这些大企业上发生过的删库事件仍然历历在目，无论是否当事人有意为之还是系统 BUG 导致，造成的后果与损失都是深刻且无法挽回的，只有从物理层面上拦截删库操作，才能在真正意义上杜绝此类事件，毕竟谁都无法保证自己不会成为下一个受害者。推荐 NineData 的原因，不仅仅是因为它可以完美解决企业的问题，更重要的是，如果企业的数据源数量低于 10 个，它是完全免费的。

MySQL 9.0 悄悄上线，支持面向AI的向量数据库。MySQL狂热粉丝群已经发现MySQL官网上MySQL9.0这两天悄然上线，已经可以下载体验了，目前被定义为创新版本（Innovation）。NineData 作为新一代的云原生智能数据管理平台，NineData 支持MySQL、Oracle等数据源。

2024年7月4-5日，由 CSDN 和 Boolan 联合主办的「2024 全球软件研发技术大会（SDCon）」将在北京威斯汀酒店举行，将成为引领行业迈向 AI 2.0 时代的重要桥梁。NineData 创始人&CEO叶正盛受邀参会，并将带来《云原生实时数据复制技术原理与实践》的主题分享。

6月28日（周五），华为云数据库斯享会即将在上海举办，将与的开发者朋友们一起进行数据库技术交流！NineData 技术总监薛晓乐受邀参会，并将带来《企业级数据库 DevOps 最佳实践》的主题分享。本次活动议程，涵盖最新数据库行业资讯、前沿技术、大咖分享、DBA 最佳实践等多个方面。NineData 专注于多云数据管理平台的建设，借助华为在云计算、数据库、大数据等领域的强大实力，共同为用户提供更加稳定、高效的数据管理和数据服务。

6月28日（周五），PolarDB 开源社区将来到湖南长沙，与湖南的开发者朋友们一起进行数据库技术交流！NineData联合创始人周振兴受邀参加，并将带来《数据库 DevOps 最佳实践》的主题分享，包括 DevOps 基本概念、技术挑战与解决方案，以及安全性、效率和多数据库管理方面的创新探索等。

NineData 作为新一代的云原生智能数据管理平台，提供了数据复制、数据库 DevOps、数据备份、数据对比等多种功能，帮助用户轻松实现混合云、多云数据源的统一管理。以GuassDB数据库为底座，NineData和华为云一起为企业提供一站式智能数据库DevOps平台。帮助开发者高效、安全地完成数据库SQL审核、访问控制、敏感数据保护等日常数据库相关开发任务

NineData 2024年最新数据归档与清理功能全面升级！解决企业磁盘管理难题，自动化处理过期数据，避免误删有效信息和数据库访问缓慢。新增时区选择、多种时间字段支持和预览SQL等实用功能，满足不同企业需求。了解如何通过NineData优化数据管理，提升效率和安全性。

pgvector(0.7.0) ([6])RDS 最新的 MariaDB版本 10.11.8, 10.6.18, 10.5.25, 10.4.34([27])大会以"聚焦云端创新，汇聚智慧共享"为主题，共同探讨数据库领域的发展趋势、技术创新和实践经验。RDS SQL Server 新版售卖页面支持设置系统字符集排序规则 ([8])数据库迁移服务支持从Oracle迁移到AlloyDB ([11] )RDS 支持最新的MySQL版本 8.0.37([26])，主题演讲主要覆盖鸿蒙、AI ([3] [29] )

近期IDC公布了中国关系型数据库市场的数据，整体市场276亿人民币（38亿美元），其中公有云数据库市场175亿人民币（24.1亿美元），备注：汇率按7.26计算。关系型数据库是数据库整体市场最大的板块，根据IDC历史分析，占比大约62.4%，因此可以估算2023年中国数据库总体市场440亿人民币。2023H2（下半年）公有云关系型数据库厂商占比排名2023H2（下半年）本地部署关系型数据库厂商排名2021~2023年中国关系型数据库管理软件详细市场占有率数据。

达梦公开上市，首日收盘市值达182亿；Oracle云上将支持Oracle Database@Google Cloud；RDS MySQL Serverless 通用云盘实例支持按量付费和Serverless互转；Oracle云基础数据库新增规格：AMD E5 flex shape)；谷歌云托管PostgreSQL支持扩展temporal_tables 1.2.2

国内现在做数据库的有两三百家，包括互联网企业，通信巨头，纷纷介入这一领域，原因很简单，有大量的需求，风起云涌地成立了很多企业，但是这个行业大家看到一个规律，我们的同行IBM做了60年，现在国际上做得最好的同行甲骨文做了45年，将近50年，比我们多两年，实际上达梦已经做了43年、44年了。早年，我不知道这件事能不能成功，因为对成功的定义个人理解不一样，我不认为现在达梦上市就是成功，因为你做得不好你也可能下来，更重要的就是，不断地与时俱进，动态的、随时的、掌握这个行业的新技术、核心技术。

开发人员或研究人员通过 NineData 提供的 SQL 窗口来查询数据，这是一个高频操作，NineData 在这里做了相当多的优化，从智能补全、常用 SQL 保存、SQL 模板到快捷执行等一应俱全，可以极大的提升数据查询的效率，同时还支持完整的权限管理、审计日志以及数据库保护等功能。通过 NineData 数据复制功能，很好的提升了我们在数据链路上的稳定性，降低了我们在数据链路上的维护成本，配置新的数据链路非常方便，再也不用担心业务提出新的数据同步需求。满足企业多样化的场景。轻松应对各种对比的场景。

业务验证通过后，可进行业务停机切换。出于安全性方面考虑，云数据库通常是封闭的内网环境，在配套迁移产品无法提供迁出支持的前提下，想要迁移数据必须得开启公网访问地址，而这一举动无疑给不法分子提供了攻击数据库的绝佳良机，等待企业的可能会是数据库被攻陷，重要的数据遭到泄露，更有甚者数据直接被清空，多年的经营成果毁于一旦。我们要做的是跨云迁移，听上去好像很简单，但是实际操作起来还是挺复杂的，由于大部分云厂商提供的配套迁移产品只进不出，即只针对自建库上自身云提供了良好的支持，但对于从自身云迁出的需求，往往无法满足。

部分 MySQL/PostgreSQL版本社区生命周期结束 (EOL) ，将Cloud SQL for MySQL/PostgreSQL将从2025 年 2 月 1 日开始提供扩展支持([18] [19] [20] [21] )，Databricks将增强 Delta Lake 和 Iceberg 社区合作，以实现 Lakehouse 底层格式的开放与兼容([1] [2])。Amazon RDS不再支持db.m4, db.r4, and db.t2 类型的实例 ([28])

为明晰发展脉络，把握未来趋势，墨天轮于5月29日正式发布。该报告由墨天轮联合业界专家学者共同编写，共，旨在梳理和洞察中国数据库行业的发展趋势、技术创新、市场动态以及面临的挑战，为数据库行业的产学研用提供有价值的参考信息，推动行业的进步和发展落地。自2022年起，墨天轮数据社区持续发布数期《中国数据库行业分析报告》，累计点击超过18万次，下载近2万次，其中《2022年中国数据库年度行业分析报告》下载量高达2500余次。

为了回答上面的疑问，于是就开启了我的云数据库性能测试之旅。这是第二次测试（QPS详细数据：重现该测试包含了两个方面，一个是测试工具与主要参数，另一个是测试实例的选择。这里选择了模型简单、易于重现的Sysbench（oltp_read_write）进行测试。