数据仓库实时数据同步方案

SyncNavigator是一款功能强大的数据库同步软件,适用于SQL SERVER, MySQL,具有自动/定时同步数据、无人值守、故障自动恢复、同构/异构数据库同步、断点续传和增量同步等功能,支持Windows xp以上所有操作系统,适用于大容量数据库快速同步。

安装包下载地址:https://www.syncnavigator.cn/Setup.zip

帮助文档地址:https://www.syncnavigator.cn/Help_zh-CN.chm

Web文档地址:https://www.syncnavigator.cn/chm/index.htm


将postgresql中的数据实时同步到kafka中

https://www.cnblogs.com/cq-yangzhou/p/11549913.html

 

黄海的思路:

(1)看看其它人的概念:https://blog.csdn.net/dora_310/article/details/80511793

 

有的地区方案中也写了3秒之类的概念,就是说,这种数据同步,其实并没有我想像的那个实时,还是有一定的延迟的,再比如,我一次性插入了10W条数据,就算了一次性实时传递给客户端系统,它能不能一下子写进去还是一个重要问题,实时不管怎么说都是需要一定时长的,在给出的时候可以有3秒的时延,这对于我们来说足够了,因为我们的系统只需要把最新时间戳变更的数据提供即可。考虑到OLTP和OLAP的区别,这个数据同步的提供者是谁呢?

初步考虑用的是GreenPlum来提供,使用 Golang+GreenPlum

展开阅读全文
©️2020 CSDN 皮肤主题: 深蓝海洋 设计师: CSDN官方博客 返回首页
实付0元
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值