云原生智能数据管理平台

本月发布 7 项更新，其中重点发布 2 项、功能优化 3 项、性能优化 1 项、其他发布 1 项。

业务流量顺利切回到 Oracle，企业利用 NineData 在确保所有数据安全留存的情况下，实现了新旧系统之间的随心切换。当新平台的问题完全解决后，企业可再次以同样的方式将业务流量切回到 PostgreSQL。这种灵活的双向同步机制，让企业在遇到问题时能够迅速回退，同时保证了数据的安全，不会因切换而丢失任何重要信息。

NineData 支持在数据库中自动生成符合特定业务场景的随机数据，用于模拟实际生产环境中的数据情况，帮助用户在不使用真实数据的情况下，进行功能测试、压力测试以及其他验证工作。预定义的仿真规则：内置了 42 条预定义仿真规则，覆盖大部分业务场景。除此之外，支持创建自定义仿真规则。生成数据量可控：支持 1 ~ 1000万条测试数据生成，可通过 SQL 开发规范进行限制。添加图片注释，不超过 140 字（可选）自动关联相关字段：通过识别规则，仿真规则将自动关联对应的数据库字段，无需手动关联。

2024年10月18-19日，第二十四届GOPS全球运维大会暨研运数智化技术峰会在上海成功举行。本次论坛，NineData 创始人&CEO 叶正盛受邀参加主论坛，并来带来了《研发协同效率提升5倍以上：多云多源数据库管理最佳实践》主题分享。最终经过近2个月的评选流程，NineData 成功入选2024 IT 技术领导力年度征集活动【2024数据库领域年度明星产品】。

2024年10月18-19日，NineData 将亮相GOPS全球运维大会·上海站主论坛，创始人& CEO 叶正盛将在主会场分享《研发协同效率提升5倍以上：多云多源数据库管理最佳实践》演讲。届时将和 IT 运维从业者和技术专家一起探讨技术实践，共同帮助企业轻松实现技术落地。

SQL标准1986年制定第一版，到最新的2023版，已经有38年的历史，现在依然是计算机非常活跃的语言，50%的程序员都能掌握SQL，数据分析师也是SQL的主要使用人员之一。从早期的基本语法，到融合了XML、JSON等复杂数据类型，存储过程标准，元数据标准等等等，SQL语言规范发生巨大的变化，。

alloydb_scann”扩展程序（以前称为“postgres_scann”）已正式发布（GA），如需详细了解如何存储向量嵌入、创建索引以及调整索引以实现更快的查询性能和更好的召回率，请参阅使用向量。此扩展可让您更新物化视图，其中仅计算增量更改并将其应用于视图，而不是从头开始重新计算内容 ([12] [13] )，声称在构建HNSW/IVFFlat索引上，速度、精准度都超越pg_vector，并解决了pg_vector长期存在的偶发性返回错误结果的问题( [1] )。当前白名单开放中([7])

NineData 是玖章算术公司自主研发的云原生智能数据管理平台，是一个纯国产的软件。它提供的数据复制功能专门用于数据源之间的数据迁移与同步，针对本文的双向数据实时同步的需求，也提供了非常强大的支持。这里我们以 MySQL 为例，假设有 A、B、C 三个数据源，以数据源 A 为中心节点，分别创建 A 和 B、A 和 C 之间的双向复制任务，实现三个数据源的数据实时同步。

创建复制任务时，支持选择 MySQL 的库表分组，可从多个分库分表中将数据复制到其他的分库分表，或聚合到另一个 MySQL 实例中。在复制任务的增量阶段，支持一键重新同步指定表，主要用于两端数据不一致过多的情况下重新复制整张表，以快速修复不一致。数据复制功能新增支持将 Oracle 中的数据复制到 Kafka，实现数据的实时流转和分发，支持全量和增量。本月发布 3 项更新，其中重点发布 3 项。

以提升产业链供应链韧性和安全水平为重点，围绕石油、化工、航空、船舶、钢铁、汽车、医药、轨道交通等关系经济命脉和国计民生的行业领域，推动基础软件、工业软件和工业操作系统更新换代。轻工行业：包括家电、皮革、造纸、五金制品、塑料制品、电动自行车、电池、日用陶瓷等。石化化工行业：包括炼化、煤化工、氯碱、纯碱、电石、磷肥、轮胎、精细化工等领域。钢铁行业：涉及铁矿采选、铁合金冶炼、焦化、烧结、球团、炼铁、炼钢、轧钢等工序。食品行业：包括生物发酵、乳制品、酿酒、制糖、制盐、罐头、饮料等领域。

纵向的，与5月份的测试对比，性能较为稳定，没有太大的波动。Azure的实例有着很多厂商类似的CPU代差导致的性能波动问题，在202409的测试中CPU计算能力指标为56.3，相比202405表现的63.9，也下降了12%，Azure Database for MySQL的Sysbench QPS性能也随之下降。该测试很好的展示了不同云厂商之间RDS MySQL性能差异，甚至在同一个云厂商的不同区域，甚至在同一个云厂商的同一区域不同时间建立的实例，其性能都可能会有一定的差异。百度云RDS提供非常稳定的性能。

​相信各位看官们都知道 NineData 是什么，此处不再赘述，在本文的场景中，NineData 是一个实时数据管道的角色，通过它可以轻松将各种业务系统（例如 MySQL、Oracle）接入 Kafka，摇身一变成为 Kafka 的生产者。这里我们以 Oracle 为例，介绍配置方法。

RDS MySQL全面升级了全球多活数据库（简称GAD）产品，GAD基于RDS与DTS产品打造，融合了灾备与多活两大能力，作为一站式、高性价比的灾备与多活解决方案，为用户提供全面的灾备和多活数据库服务。，产品基于RDS与DTS实现，为用户提供一站式、高性价比的灾备与多活解决方案 ([5])。此外，RDS MySQL还发布了列加密([6])，集群版新增库表恢复等功能([4])。Redis 4.0及以上版本的单机、主备、读写分离、Proxy集群实例，支持通过ELB实现Redis公网访问 ( [25] )

其中最核心的是增量数据捕获，对于 Oracle、MySQL 或一些国产数据库，要实现数据秒级甚至毫秒级的实时同步，就需要实时抓取其增量变更数据，这是非常具有技术挑战的。此外，NineData 采用了非侵入式的方式，许多客户的数据库安装在主机上，有些产品需要在主机上安装 Agent 或插件才能捕获数据，但 NineData 希望在对接 Oracle、DB2、SQLServer 等数据库时，无需入侵数据库主机，直接实时捕获数据并传输到其他国产数据库、开源数据库或云平台上，这是其核心技术 CDC。

原先 2x2 的分片系统迁移到 3x3 的过程中，系统通过目标分库分表的路由算法重新计算哈希值，确保每条数据进入对应的新分片，最终顺利完成了这项艰巨的任务。最初的分库分表策略是按照买家 ID 进行分片的，但随着业务的深入，发现用卖家 ID 进行分片更加合适，这种情况下，需要先重新调整分片逻辑，再将原来的数据迁移到新的分库分表中。上述场景都是比较常见的分库分表迁移需求，虽说是刚需，支持这种场景的好用的工具却不多，主要原因在于分库分表的复杂性涉及数据分片、业务逻辑、数据一致性等多方面问题。源库的分库分表配置。

生成式 LLM 是一个函数。它采用文本字符串作为输入（在 AI 术语中称为“prompt”），并返回字符串和数字数组。此函数是确定性的。它在后台做了很多数学运算，但所有这些数学运算都是硬性的。如果你使用相同的 input 重复调用它，它将始终返回相同的输出。任何一直在使用 ChatGPT 和类似产品的人都可能会感到惊讶，因为它们可以对同一个问题给出不同的答案。然而，这是真的。我们很快就会看到它是如何工作的。

Larry发表主题演讲《Open MultiCloud Era & AI + Cloud Security》，强调了Oracle Cloud将继续支持客户的多云战略，同时也发布了Oracle@Google、Oracle@Azure、Oracle@AWS；同时发布了多种类型的私有云方案( [23] )ARS（Autonomous Recovery Service）开始支持多个云平台上的Oracle数据库的备份恢复管理，包括Azure、Google Cloud等([9])

叶正盛，NineData创始人&CEO，资深数据库专家，AI大模型技术实践者，曾担任阿里云数据库产品管理与解决方案部总经理，阿里云技术架构与产品决策委员会核心成员，研发了多款业界领先的云原生产品，包括数据库DevOps平台DMS、数据复制DTS等。随着全球数据量的爆发式增长和对数据处理速度的更高要求，算力网络成为了推动各行业发展的关键力量。本次分享将深入探讨数据库全球实时传输技术的实践应用，展示如何通过先进的技术创新，实现高效、稳定、安全的数据传输，为全球企业和用户提供更优质的服务。

想要实现目前最为规范的敏感数据分类分级，看到上述的操作演示后，是不是觉得也没有那么难？防范数据泄露，企业的意识是最重要的，并且宜早不宜迟，因为说不定什么时候，数据泄露问题就找上你了。