关注
分享
文章平均质量分 92
CloudCanal 数据同步迁移系统，助力企业构建丰富的数据应用场景。详情请参考官网：https://www.clougence.com/
ClouGence
ClouGence是一家基础技术创业公司，主要面向企业提供数据领域的工具和解决方案，业务在云上展开，开源社区驱动。
公司创始成员来自阿里基础技术团队，具备10年以上大规模分布式中间件、数据库内核、云产品经验。团队务实，以业务价值为导向，具备良好的技术追求。
展开
-
如何用 CloudCanal 做多源数据汇聚
本文主要介绍 CloudCanal 数据防重能力，降低数据汇聚场景各个来源数据表名冲突、主键/唯一键约束冲突的概率，从而让用户更加便捷地落地在线数据应用。原创 2024-02-02 11:10:34 · 873 阅读 · 0 评论 -
用 CloudCanal 做跨互联网数据库双向同步
本文主要介绍使用 CloudCanal 进行跨互联网数据库双向同步功能，具备两端数据库完全不开放公网端口,可双向同步无循环等特点。原创 2024-01-19 11:24:44 · 1060 阅读 · 0 评论 -
Hana 实时数据同步优化(3)
本文主要介绍 CloudCanal 近期优化其 Hana 源端增量数据同步能力, 优化点主要来自近期用户实际场景使用，增强可落地性原创 2024-01-11 19:50:33 · 994 阅读 · 0 评论 -
CloudCanal x Redis 数据同步指令集丰富与细节优化
本文简要介绍 CloudCanal 针对 Redis 到 Redis 数据迁移同步指令集与细节优化，进一步增大该数据同步链路业务落地概率。原创 2024-01-05 11:08:40 · 935 阅读 · 0 评论 -
CloudCanal x Debezium 打造实时数据流动新范式
本文主要介绍 CloudCanal 从 Kafka 订阅消费 Debezium 格式数据同步到 10 几种主流数据库和数仓的技术和使用示例原创 2023-12-21 20:05:25 · 1722 阅读 · 0 评论 -
用 CloudCanal 快速验证阿里云 EMR for StarRocks 和 Doris
StarRocks 和 Doris 同属国产分布式实时数仓，业务效果好，目前在国内相当流行。如何快速验证其真实能力，对接真实业务负载？本文即介绍使用 CloudCanal 和 Aliyun EMR for StarRocks & Doris 达成此目的。原创 2023-12-01 09:45:34 · 1510 阅读 · 0 评论 -
花 200 元测试 1300 个实时数据同步任务
本文主要介绍 CloudCanal 数据迁移同步产品的一个容量验证测试，在有限资源情况下，创建1300个数据迁移同步任务同时运行，系统所展现的可操作性和稳定性原创 2023-11-17 08:47:49 · 121 阅读 · 0 评论 -
一镜到底 ElasticSearch 数据迁移同步技术
本文从一个比较窄但是应用广泛的场景 - MySQL 到 Elasticsearch 数据同步技术 - 切入，比较以 ElastciSearch 作为对端的主流数据同步技术的优劣和相关技术细节，最后给到一些展望。原创 2023-11-03 12:27:42 · 209 阅读 · 0 评论 -
手把手教你做 Redis 双向数据同步
本文主要介绍如何使用 CloudCanal 构建生产级稳定性的 Redis 双向数据同步，具备版本兼容全面、功能细节丰富自然等特点。转载 2023-08-18 10:54:32 · 575 阅读 · 0 评论 -
CloudCanal 数据脱敏实践
使用CloudCanal做数据迁移同步时如何对特定数据做脱敏处理，这篇文章抛了个砖。转载 2023-07-21 11:41:31 · 72 阅读 · 0 评论 -
深入浅出 SQL Server CDC 数据同步
对 SQL Server CDC 技术的介绍，这项技术是什么？怎么配置？有什么难点？以及解决方案有哪些？深入浅出的让你掌握这些数据库增量同步技术。原创 2023-05-24 15:02:37 · 1957 阅读 · 2 评论 -
CloudCanal x OceanBase 数据迁移同步优化
CloudCanal对Oceanbase数据迁移同步的又一次优化，更好的性能、更稳定的运行、更强的兼容转载 2023-04-27 11:32:43 · 148 阅读 · 0 评论 -
CloudCanal x TiDB 数据迁移同步功能落地
CloudCanal 近期推出了 TiDB 为源端的数据迁移同步功能，具备一站式、可视化、自动化、稳定等特点，本文简要介绍该能力，欢迎品鉴转载 2023-04-14 12:56:53 · 196 阅读 · 0 评论 -
CloudCanal 落地 DB2 数据迁移同步功能
loudCanal 支持了 IBM DB2 为源端的数据迁移同步，一期支持 DB2 到 MySQL, TiDB, Kafka , StarRocks 数据迁移同步转载 2023-03-31 12:12:51 · 282 阅读 · 0 评论 -
MongoDB 到 MongoDB 数据迁移和同步-CloudCanal实战
简述MongoDB 是一种广泛使用的文档型数据库，对于 schema 弱要求、可扩展性强让其在很多场景普遍适用。本文主要介绍如何使用 CloudCanal 快速构建一条稳定高效运行的 MongoDB 到 MongoDB 数据同步链路，示例中 MongoDB 均为 ReplicationSet (副本集) 。技术点MongoDB 源端增量技术MongoDB 增量数据可以通过 local 库的 oplog.rs collection 获取增量变更数据(需要搭副本集)。其中事件包含以下子 Docu转载 2022-08-23 09:49:04 · 1150 阅读 · 0 评论 -
Oracle数据同步的思考与优化-CloudCanal核心技术
为什么我们要重构 Oracle 源端数据同步？CloudCanal 早期版本即支持了 Oracle 数据库，围绕结构迁移、全量迁移、增量同步三个核心步骤，构建了以 Oracle 数据库为源端的实时数据体系。但之前的版本，也存在着不少问题，功能、性能、对数据库权限的挑战等方面都有所涉及，成了 CloudCanal 产品的一个痛点，看着 MySQL 源端在线数据体系不断狂奔，不免有点落寞。再者，市场的需求层出不穷“CloudCanal 能否把 Oracle 数据同步到 Kafka?”“CloudCa转载 2022-08-03 16:11:43 · 1059 阅读 · 1 评论 -
Oracle到MySQL实时数据同步CloudCanal实战
本文通过 Oracle 到 MySQL 的数据迁移同步案例简要介绍这个源端的能力。链路特点：结构迁移、全量迁移、增量同步(数据)、数据校验俱全流程全自动化此文章简要介绍如何快速构建一条长期稳定运行的 Oracle->MySQL 数据链路转载 2022-01-06 15:56:21 · 1569 阅读 · 0 评论 -
MySQL到PolarDB-X数据迁移和同步
简述CloudCanal 近期支持了 PolarDB-X 对端, 目前开放的链路为 MySQL 到 PolarDB-X 。本链路特点包括完整支持结构迁移、全量迁移、增量同步、数据校验支持 PolarDB-X 云版本 API 级对接(自动获取实例、添加白名单)支持 PolarDB-X 开源自建版PolarDB-X 前身 DRDS (内部产品名称 TDDL),经过 10 几年发展, 很好解决了 ToC 端业务对数据库超高并发、严苛事务的需求，并且近几年也努力尝试解决企业级数据需求(复杂SQL、分转载 2021-11-05 15:47:03 · 1071 阅读 · 1 评论 -
5分钟搞定 MySQL 到 TiDB 的数据同步 - CloudCanal实战
cloudcanal-zycgit简述TiDB 是国内非常火热的一款分布式数据库，参考 Google Percolator 和 Spanner 模型进行构建，具备很好的扩展性，并且支持强一致事务和一定的计算能力，应用广泛。CloudCanal 提供了从传统关系型数据库实时同步到 TiDB 的能力，并且附带数据迁移、数据校验、数据订正等能力。此文章简要介绍如何快速构建一条长期稳定运行的 MySQL->TiDB 数据链路。技术要点MySQL 协议兼容性TiDB 对于 MySQL 协议兼容做得不转载 2021-08-27 13:59:57 · 803 阅读 · 0 评论