![](https://img-blog.csdnimg.cn/20201014180756724.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
数据同步
文章平均质量分 78
一个不靠谱的程序员
这个作者很懒,什么都没留下…
展开
-
dataX使用指南
DataX DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台,实现包括 MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、DRDS 等各种异构数据源之间高效的数据同步功能。 DataXgit地址 安装 直接下载DataX工具包:DataX下载地址 下载后解压至本地某个...原创 2019-01-14 10:41:09 · 4744 阅读 · 0 评论 -
canal
canal https://github.com/alibaba/canal 又一个阿里巴巴开源的数据同步工具 定位: 基于数据库增量日志解析,提供增量数据订阅&消费,目前主要支持了mysql ###基于日志增量订阅&消费支持的业务: 数据库镜像 数据库实时备份 多级索引 (卖家和买家各自分库索引) search build 业务cache刷新 价格变化等重要业务消息 ###原理 ...原创 2019-01-14 10:42:09 · 23136 阅读 · 0 评论 -
otter
otter https://github.com/alibaba/otter 同样是阿里巴巴开源的数据同步工具 定位: 基于数据库增量日志解析,准实时同步到本机房或异地机房的mysql/oracle数据库. 一个分布式数据库同步系统 注意:基于cannal 原理 基于Canal开源产品,获取数据库增量日志数据。 什么是Canal, 请点击 典型管理系统架构,manager(web管理)+n...原创 2019-01-14 10:44:34 · 4940 阅读 · 0 评论 -
otter自定义扩展
otter自定义扩展 otter支持数据处理自定义过程。 Extract模块: EventProcessor : 自定义数据处理,可以改变一条变更数据的任意内容 FileResolver : 解决数据和文件的关联关系 目前两者都只支持java语言编写,但都支持运行时动态编译&lib包载入的功能。 通过Otter Manager直接发布source文件代码,然后推送到node节点上即时生效,...原创 2019-01-14 10:45:58 · 2673 阅读 · 7 评论