网易数据运河系统 NDC 设计与应用

最新推荐文章于 2024-09-06 15:20:01 发布

社会我857

最新推荐文章于 2024-09-06 15:20:01 发布

阅读量779

点赞数

分类专栏：程序员杂志-大数据技术深度实践

本文链接：https://blog.csdn.net/weixin_38113732/article/details/106537476

版权

程序员杂志-大数据技术深度实践专栏收录该内容

17 篇文章 ¥9.90 ¥99.00

订阅专栏

NDC是网易推出的数据传输服务，整合了数据迁移、同步和订阅，提供平台化解决方案。它支持多种异构数据库，如Oracle、MySQL等，并能与OLAP系统实时同步。NDC具有平台化、可插拔和单元化特点，用于DDB数据迁移、应用缓存更新和OLAP系统整合。系统采用高效的数据迁移和增量同步策略，保障数据一致性，并支持断点续传和多源适配。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

NDC 是网易近一年新诞生的结构化数据传输服务，它整合了网易过去在数据传输领域的各种工具和经验，将单机数据库、分布式数据库、OLAP 系统以及下游应用通过数据链路串在一起。除了保障高效的数据传输外，NDC 的设计遵循了单元化和平台化的设计哲学，本篇文章将带大家近距离了解 NDC 的设计思路和实现原理。

NDC 简介

NDC 全名 Netease Data Canal，直译为网易数据运河系统，是网易针对结构化数据库的数据实时迁移、同步和订阅的平台化解决方案。

在 NDC 之前，我们主要通过自研或开源软件工具来满足异构数据库实时迁移和同步的需求，随着云计算和公司业务的大力推进，公司内部，尤其是运维团队开始对数据迁移工具的可用性、易用性以及其他多样化功能提出了更多要求和挑战，NDC 平台化解决方案便应运而生。NDC 的构建快速整合了我们之前在结构化数据迁移领域的积累，于2016年8月正式立项，同年10月就已上线开始为我们的各大产品线提供在线数据迁移和同步服务。

业界中与 NDC 类似的产品有阿里云的 DTS、阿里开源产品 DataX、Canal、Twitter 的 Databus，在传统领域有 Oracle 的 GoldenGate、开源产品 SymmetricDS。从产品功能、成熟度来看，NDC 与阿里
云 DTS 最为相似，都具有简、快、全三大特性：