让每个人用好数据和云

Cloud SQL Studio 现已 正式发布，支持GCP上的托管MySQL、PostgreSQL、SQL Server等数据库的简单查询管理：参考.([7] )([2] )，该公司以开源产品的形式提供完整的PostgreSQL生态产品托管服务，同时提供Tembo Cloud以云产品形式提供托管服务 ( [2] [3] )。数据库迁移服务引入新的API版本，支持了MySQL数据库更多高级参数支持 ([16])托管MongoDB服务支持了批量退订实例、批量续费实例等功能 ( [5] [6] )

二十年前，我们中的一员（Stonebraker）共同撰写了一篇论文(What Goes Around and Comes Around)，评论了过去40年的数据建模研究和开发[188]。该论文表明，尽管有人试图替换它们，但关系模型（RM,Relational-Model）和SQL仍然是数据库管理系统（DBMS）的主流选择。相反，SQL吸收了这些替代方法中的最佳思想。我们重新审视这个问题，并认为自2005年以来，这种演变一直在继续。再次有人反复尝试替换SQL或RM。

了解如何利用NineData的可视化工具轻松设计和修改PostgreSQL表结构。本文探讨了NineData如何通过模块化界面和全面的参数覆盖，帮助开发人员在黑屏SQL编写的基础上提升效率。无论是经验丰富的老鸟还是新手，都能通过简单的鼠标操作快速完成复杂的表设计，避免了因错误导致的不必要麻烦。

云数据库RDS MySQL 提供无感数据集成（Zero-ETL）功能，用于将RDS数据同步至数据仓库（AnalyticDB MySQL或ClickHouse），用户无需搭建或维护数据同步链路，且数据同步链路不收费，减少数据传输成本和运维成本 ([5])在瑶池数据库解决方案体验馆中，新增RDS PostgreSQL Serverless极致弹性体验，您无需购买任何资源，即可在线体验Serverless功能的智能弹性能力，并可实时观测Serverless实例的性能与资源使用情况 ([8])

7月12日~7月13日，2024年 PostgreSQL 中国技术大会将在杭州上城区君尚云郦酒店举办，共同探索 PostgreSQL 的创新应用与发展趋势！NineData 联合创始人周振兴受邀参会，并将带来《实时数据同步方案的挑战与实践》的主题分享。

阿里云MongoDB以其国内领先的版本更新速度和丰富灵活的云原生架构成为用户的优选，并服务于企业数据的安全传输、高效管理、多粒度备份恢复、智能诊断分析等全流程，进一步简化了开发者的操作流程。介绍了面向MongoDB的不停机迁移及同步原理，针对MongoDB迁移和同步过程中常见的挑战，如DDL同步、视图索引复制和数据一致性保障等，提出了切实有效的解决方案，●首先，MongoDB支持多种结构化和非结构化数据，包括标准化的业务数据、不规范的设备信息、结构多变的模型数据等，灵活支持各行各业复杂的数据需求。

2024年7月4-5日，由 CSDN 和 Boolan 联合主办的「2024 全球软件研发技术大会（SDCon）」将在北京威斯汀酒店举行，将成为引领行业迈向 AI 2.0 时代的重要桥梁。NineData 创始人&CEO叶正盛受邀参会，并将带来《云原生实时数据复制技术原理与实践》的主题分享。

NineData 2024年最新数据归档与清理功能全面升级！解决企业磁盘管理难题，自动化处理过期数据，避免误删有效信息和数据库访问缓慢。新增时区选择、多种时间字段支持和预览SQL等实用功能，满足不同企业需求。了解如何通过NineData优化数据管理，提升效率和安全性。

总之，通过 NineData 的云原生智能数据管理平台，HHO 成功实现了跨云数据的高效流动和多云数据管理，助力跨境电商安全高效的创新业务，轻松实现全球化业务布局！：通过 NineData 的数据同步功能，通过对多云的能力的支持，将分散在不同云、不同地域的数据传输到数仓进行分析，解决了数据同步难的问题。：使用 NineData 的运维管理功能，减少对 DBA 的依赖，制定合理规范来自动运维，开启 SQL 开发规范，按环境管理数据源，一键启用规范与审批流程，解决了运维管理乱的问题。

近期IDC公布了中国关系型数据库市场的数据，整体市场276亿人民币（38亿美元），其中公有云数据库市场175亿人民币（24.1亿美元），备注：汇率按7.26计算。关系型数据库是数据库整体市场最大的板块，根据IDC历史分析，占比大约62.4%，因此可以估算2023年中国数据库总体市场440亿人民币。2023H2（下半年）公有云关系型数据库厂商占比排名2023H2（下半年）本地部署关系型数据库厂商排名2021~2023年中国关系型数据库管理软件详细市场占有率数据。

无需停机，将MySQL数据安全高效地迁移到GCP Cloud SQL MySQL，选择NineData，一键操作，轻松搞定跨云迁移！

开发人员或研究人员通过 NineData 提供的 SQL 窗口来查询数据，这是一个高频操作，NineData 在这里做了相当多的优化，从智能补全、常用 SQL 保存、SQL 模板到快捷执行等一应俱全，可以极大的提升数据查询的效率，同时还支持完整的权限管理、审计日志以及数据库保护等功能。通过 NineData 数据复制功能，很好的提升了我们在数据链路上的稳定性，降低了我们在数据链路上的维护成本，配置新的数据链路非常方便，再也不用担心业务提出新的数据同步需求。满足企业多样化的场景。轻松应对各种对比的场景。

业务验证通过后，可进行业务停机切换。出于安全性方面考虑，云数据库通常是封闭的内网环境，在配套迁移产品无法提供迁出支持的前提下，想要迁移数据必须得开启公网访问地址，而这一举动无疑给不法分子提供了攻击数据库的绝佳良机，等待企业的可能会是数据库被攻陷，重要的数据遭到泄露，更有甚者数据直接被清空，多年的经营成果毁于一旦。我们要做的是跨云迁移，听上去好像很简单，但是实际操作起来还是挺复杂的，由于大部分云厂商提供的配套迁移产品只进不出，即只针对自建库上自身云提供了良好的支持，但对于从自身云迁出的需求，往往无法满足。

例如，您可以设置归档任务于业务低峰期的 0 点开始执行，执行时长设置为 6 小时，则早上 6 点时，即使任务没有执行完成，也会自动停止，避免影响业务。可以为受信任的网络开启白名单，白名单以外的所有网络均无法访问当前组织，通过这一限制，非法访问者即使知道组织成员的账号密码，也无法通过该账号在受信网络之外的主机登录，增强了组织数据和服务的安全性。NineData 新增表分组查询功能，支持您通过 SQL 窗口对多个分库分表进行统一查询，很大程度上简化了分库分表情况下，数据查询的复杂度，提高查询效率。

​在本次的功能验证过程中可以发现，NineData 对 TiDB 的数据导入导出功能都提供了良好的支持，并且完美绕开了官方配套工具对业务库带来的性能影响，真正意义上做到了企业所关注的稳定高效简单安全。

开源数据库DuckDB1.0 经过内部6年的打磨，积累了30万行代码，1.8万star，2024.06.03号正式发布了1.0版本（代号 Snow Duck）。我们新一代程序员，没能见证MySQL 1.0、PostgreSQL 1.0、Windows 1.0、Linux 1.0、Java 1.0。但是今天有幸见证 DuckDB 这样一个伟大的产品发布了1.0，。

但是公司一直颠沛流离，从2005年创建，2010年被EMC收购（估值3亿美金），2012年纳入到Pivotal Software品牌，2015年对外开源，2020年Pivotal被VMWare收购，2023年VMWare又被博通收购。Greenplum是基于PostgreSQL开发的MPP数据仓库，在业界有非常高的流行度，Greenplum当前最新版本是7.1，有许多公司使用，在全球数据库排行榜DB-Engines当前排名第48位。著名开源数据仓库Greenplum突然关闭github源码。

业务验证通过后，可进行业务停机切换。出于安全性方面考虑，云数据库通常是封闭的内网环境，在配套迁移产品无法提供迁出支持的前提下，想要迁移数据必须得开启公网访问地址，而这一举动无疑给不法分子提供了攻击数据库的绝佳良机，等待企业的可能会是数据库被攻陷，重要的数据遭到泄露，更有甚者数据直接被清空，多年的经营成果毁于一旦。我们要做的是跨云迁移，听上去好像很简单，但是实际操作起来还是挺复杂的，由于大部分云厂商提供的配套迁移产品只进不出，即只针对自建库上自身云提供了良好的支持，但对于从自身云迁出的需求，往往无法满足。

5月31日（周五），PolarDB 开源社区将联合娃哈哈集团共同举办开源数据库技术沙龙！NineData联合创始人周振兴受邀参加，并将分享《NineData，Any to Any 数据复制之路》的技术分享。

此外，我们的系统还提供详尽的操作审计功能。通过我们的 NineData 备份，轻松的就能实现了跨云备份、异地备份，并且提供备份集的实时查询能力，让冷数据变热，无需再将备份恢复以验证其有效性，彻底解决了传统备份的问题。通过 NineData 智能数据管理平台，我们可以跨不同的云、IDC和数据库进行数据传输同步：将数据传输到搜索平台、消息队列，甚至是数据仓库，然后借助 DevOps 中的 SQL IDE、权限管理和规范流程，开发协调等，为不同的角色提供服务，包括数据库开发、BI 开发、DBA 和业务运营。

同时， NineData 针对远距离复制，进行了针对性优化，结合元数据解耦、动态攒批、数据合并等多种技术，进一步消除网络延迟对复制延迟的影响。NineData的了高效、稳定、可靠的数据复制解决方案为ECMS提供了强大的支持，为其未来的发展奠定了坚实的基础。易客满国际物流有限公司（ECMS Express）致力于全球化的国际物流解决方案和经济快递产品，服务网络覆盖美国、欧洲、日本、中国、韩国、香港、台湾、新加坡、马来西亚、墨西哥等地。由于数据复制涉及跨国际、跨区域的数据库之间的实时复制，

​通过上述步骤，您即可完整地将您的业务数据从其他云迁移到 AWS RDS MySQL，在增量复制延迟为 0 的前提下，您可以在任何您需要的时间进行业务割接，把业务流量切换到新的云上。如果您只是需要将 AWS RDS MySQL 作为一个您业务的多活节点，也可以保留该条迁移链路持续运行，NineData 会保证两端的数据实时保持一致，在其中一个云厂商出现故障后，可以迅速将业务切换到另一个云。至此，您已成功实现了跨云厂商的不停机数据库迁移，最大程度地减少了对线上业务的影响。

通过与NineData的合作，为尽微好物解决了数据库迁移和复制的难题，帮助客户实现了上云下云的自由切换，为业务的持续发展提供了有力支持。通过基于日志的增量迁移与复制方案以及多维度的数据分片方案，NineData能够在最小程度上影响业务的情况下完成数据迁移，并保障迁移前后的数据一致性。提供了完整的数据对比程序，可以在完成迁移后，立刻进行全量的数据对比，以保障迁移数据的绝对一致。不同的环境中的MySQL数据库，也有一定的区别，例如版本、日志格式等，给迁移带来的阻碍。

规则，用于管控数据追踪任务中可追踪的最大 Binlog 文件大小，Binlog 文件太大的情况下，读取该文件可能会对源库造成性能负担，因此 Binlog 大小如果超出所配置的阈值，则 NineData 会在预检查阶段自动进行拦截，不允许提交数据追踪任务。NineData SQL 审核用于应用代码发布之前的 SQL 语句安全性、效率审核，确保发布的 SQL 语句符合规范，同时为无索引的 SQL 语句推荐合适的索引，提升代码发布的效率和准确性。保证在误操作或数据错误之后，业务数据的完整性。

NineData作为新一代的云原生智能数据管理平台，提供了数据复制、数据库 DevOps、数据备份以及数据对比等多种功能，帮助用户轻松实现混合云、多云数据源的统一管理。通过这些功能，可以轻松完成日常数据库开发、数据安全访问、生产数据库变更与发布、数据库备份恢复、数据迁移、容灾多活、数据仓库及数据湖构建等核心应用场景。本次活动，NineData 高级架构师周金义受邀参会，并将分享《ClickHouse 数据管理与同步的关键技术》的技术分享，有兴趣的数据库开发者可以关注下。

近期发生在Google私有云的重大故障，导致UniSuper客户配置数据被误删除的事件，并指出了跨云迁移的重要性。解读在多云架构下进行无停机数据库迁移的关键挑战，并提出了跨云迁移可能面临的问题，如业务可用性、表结构初始化和变更、数据质量以及迁移失败的处理方法。介绍NineData的数据复制功能，针对跨云迁移中的痛点进行了解决方案的阐述，并提供了操作步骤。最后总结了通过NineData实现跨云厂商的不停机数据库迁移的方法和优势。

在这种情况下，云服务提供商是通过 Internet 提供可扩展计算资源的公司。这些资源包括服务器、数据存储和应用程序。云服务提供商非常普遍，因为它允许企业利用高质量、可扩展的 IT 服务，而无需建立自己的数据中心。常见的云提供商包括Microsoft Azure，Google Cloud和Amazon Web Services。最后更新：2024年5月6日。

在数字化转型的新时代，MongoDB凭借灵活的文档模型、高效的数据处理能力和出色的扩展性，成为广受企业和开发者喜爱的数据库。本次活动将聚焦如何利用MongoDB简化开发工作，并分享阿里云和NineData的解决方案，更有重磅嘉宾分享实践经验，让您直观感受到MongoDB的强大效能。，我们期待您的报名，共同探索企业开发提效的更多可能。

央国企除了信创需求，还有很多本地化服务的需求，更多原因是IT系统只能部署在客户现场，无法远程访问，当系统出现问题时，需要供应商能快速修复，所以有驻场服务需求。左上角的大型互联网公司由于数据量和并发请求增加，增加了分布式数据库和NoSQL需求，对软件License成本更在意，加上技术能力更突出，所以喜欢选择开源产品构建，另外，互联网企业很多是服务全国和全球的客户，因此对IDC建设有更大的挑战，互联网业务有更多的突发性需求或者产品营销发布，希望有更好的弹性扩展能力，因此云数据库也是很好的满足需求。

时至今日，情况已经发生了翻天覆地的变化，替代方案层出不穷，PostgreSQL 作为其中的一员，除了兼具多样功能和强大性能之外，还具备非常优秀的可扩展性，可以较好地兼容 Oracle，企业也可以从长期活跃的开源社区中得到丰富的资源和技术支持，最重要的是，PostgreSQL 是开源软件，无需支付高昂的授权费用，这可以为企业省下不小的支出。Oracle 功能强大，运行稳定的背后，是其高额的授权费用。：在不影响源端业务的情况下，进行全量和增量数据的迁移，保证源和目标的一致性，并在迁移完成后实施无缝切换。

Oracle23c改名为Oracle23ai，也意味着Oracle数据库正式从Cloud进入AI时代。Oracle23ai版本是一个超级巨兽，简单总结下：AI能力：内置向量数据库，内置ONNX模型数据处理，内置Text2SQL，内置的机器学习算法持续增强；JSON能力增强，要干掉MongoDB，并且还是JSON与关系型双模型一体化方案；图数据处理能力增强，要干掉Neo4j，模型也是一体化设计；

Apache StarRocks 是一个基于 MPP 架构的高性能、实时的分析型数据库，以极速易用的特点被人们所熟知。当前其已经成为除 ClickHouse、Doris以外，国内比较流行的数据仓库产品。NineData 提供端到端的数据复制能力，以帮助企业快速实现将 MySQL 实时复制到 StarRocks，提升数据应用价值。

云数据库快速迭代，并且很多企业已经采用了多云和混合云数据架构，如何实现多个云平台之间的数据库实时同步，是业界技术挑战。本次主题将分享基于K8S云原生技术的NineData在多云、多源数据复制的技术原理与业务实践，介绍如何实现数据库在IDC/阿里云/腾讯云/华为云/AWS跨云之间秒级实时同步、Oracle->新数据库实时同步的实践案例。『数据技术嘉年华』由墨天轮数据社区和中国数据库联盟（ACDU）主办，将于2024年4月12日至13日在北京新云南皇冠假日酒店盛大召开。

NineData SQL开发升级为数据库DevOps，提供企业级数据库全生命周期管理。新发布永久免费专业版，适用于中小团队。新增研发流程、表级权限申请、敏感数据管理等功能，支持PostgreSQL。审计日志功能优化。

在这一背景下，镜舟科技将与NineData数据管理平台持续展开生态合作，为企业提供坚实的技术支撑，助力企业实现降本增效的核心目标。的数据分析需求，助力客户建立数据驱动的全新业务和管理模式，目前产品已广泛应用于金融、零售、制造、游戏等行业。镜舟科技将继续与 NineData 数据管理平台展开生态合作，共同为企业的数字化转型提供坚实的技术支撑。未来，双方将持续深度合作，共同为中国企业带来效率更高、成本更低、运维更简的数据管理新范式。，数据生态需要更全面、稳健、且兼顾成本的解决方案，以提升数据管理和应用的效率。

至此，您已经得到了一条长期稳定的 PostgreSQL 到 Doris 的实时同步链路，对于需要使用 Doris 实时分析业务数据的用户来说，这样的链路不可或缺。同时，在把存量的旧数据同步至 Doris 后，就可以在 PostgreSQL 端进行旧数据清理，空出存储空间，特别是对于使用云上资源的企业来说，云资源是较为昂贵的，这样做可以极大程度上降低存储成本，转而投入到更为重要的业务中。

数据库是存储关键信息、支持业务运营和分析决策的基石。然而，数据库的复杂性——研发效率低、安全管控难、变更不稳定、数据管控难，和对其稳定性、安全性的极高要求同样使得它们成为企业 IT 结构中的一个脆弱环节。通过数据库规范的建设，NineData平台目前已支持100+规范，覆盖60种数据源，已审核800万 SQL，实现3万条 SQL 1秒审核完。详细的实践方法和细节，请参阅文章正文。

为了满足各种差异化需求，NineData SQL 开发专业版支持多数据源管理，支持超过60种不同的数据源类型，包括阿里云、腾讯云、华为云、百度云、AWS、Azure等多个云厂商的 MySQL、SQL Server、ClickHouse等主流数据库产品。尽管NineData提供的免费版服务已经赢得了广大用户的喜爱，但我们也深知，对于部分用户和中小企业而言，这样的使用模式或许在一定程度上限制了他们的选择和体验。存量用户，已有免费组织，会自动升级为10数据源永久免费的专业版，可全面享受专业版的各项高阶功能。

根据上面的流程配置完成后，数据归档任务会基于配置的周期定期扫描数据库，找出满足归档条件的数据，并将其移动到归档存储中，然后再清理业务库中的已归档数据。这样，业务库中只保留活跃的、经常访问的数据，不仅提高了数据库的性能，还可以节省存储空间，降低存储成本。对于性能影响方面的顾虑，笔者经过实际测试，发现 NineData 会根据主键索引和唯一索引自动分批执行任务，对于数据库的影响非常小。

在全国性的去 O 浪潮下，TDSQL 的出现很好地化解了众多企业对于 Oracle 的依赖，虽然它并不能完全替代 Oracle，但由于其高度兼容 Oracle 语法，以及可以同时满足在线事务交易（OLTP）和实时数据分析（HTAP）的特性，使其成为中国数据库市场炙手可热的香饽饽。通过此次 NineData 的完整适配，企业可以更加方便快捷地使用 TDSQL 数据库。除此之外，NineData 的迁移同步、数据对比等核心功能也将助力国内各大企业完成数据库国产化的目标，极大地降低数据迁移门槛。