OTTER数据同步

最新推荐文章于 2022-10-18 20:15:23 发布
最新推荐文章于 2022-10-18 20:15:23 发布
阅读量226 收藏
点赞数
分类专栏： 中间件 文章标签： OTTER
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/csdn_mx/article/details/102495838
版权

1.参照OTTER的构建手册，搭建OTTER环境，需要zookeeper和nodejs

2.配置数据源

3.配置表

4.配置canal

5.配置同步管理，配置pipleline和表映射以及字段映射

6.开启同步

7.可以在监控管理-日志记录里面查看同步时出错的信息

csdn_mx
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
数据同步利器--otter搭建使用说明
12-01
Otter 是阿里巴巴开源的一款强大的数据同步工具，特别适合在分布式环境中进行实时的数据迁移和同步。它解决了传统数据库主从复制的局限性，提供了更高效、灵活的解决方案。本篇文章将详细介绍Otter的主要功能、架构...
Otter 下载安装
Jerry的博客
05-08 263
简介 基于数据库增量日志解析，准实时同步到本机房或异地机房的mysql/oracle数据库. 一个分布式数据库同步系统。 原理 1. 基于Canal开源产品，获取数据库增量日志数据。 什么是Canal, 请点击 2. 典型管理系统架构，manager(web管理)+node(工作节点) a. manager运行时推送同步配置到node节点 b. node节点将同步状态反馈到manager上 3. 基于zookeeper，解决分布式状态调度的，允许多node节点之间协同工作. .......
otter数据同步入门教程
最新发布
weixin_38650898的博客
10-18 1526
otter数据同步搭建教程
使用otter实现数据同步——mysql、oracle的数据同步利器
秃了也弱了
06-13 3247
导历史表还需要程序代码实现吗？ 还在⽤mysql的主从复制吗？ Otter都能为你解决。典型的场景是账户信息表和账户交易明细表，更新账户余额后需要登记⼀条账户明细，并且保证在⼀个事务⾥，⽤户可以通过交易明细表查看交易记录，但是交易明细表的数据量是逐步递增的，⽤户量多的系统，⼏个⽉下来的数据超过千万了，表数据量⼀多就导致查询和 插⼊变慢，⽽⼀开始就对账户明细做分表处理就难于保证强⼀致性事务，通过otter可以将记录同步导历史表，并且进⾏分表处理，⽤户往 年的交易记录就可以查询历史表了，⽽原交易明细表就可以删除
数据同步 之 Otter
樵
09-27 2610
Otter
【向StoneDB迁移数据】MySQL增量数据同步工具-otter
leizzboy的博客
08-02 765
otter项目地址：https://github.com/alibaba/otter otter依赖了zookeeper进行多节点调度，所以也需要安装部署zookeeper zookeeper 项目地址：https://github.com/apache/zookeeper zookeeper下载部署文件可以通过镜像网站下载：http://archive.apache.org/dist/zookeeper/ otter介绍 otter 是阿里巴巴基于数据库增量日志解析，使用纯java语言编写的准实时同步到本
深入理解otter(数据同步)
05-14
阿里开源数据同步otter方面的好书，otter是数据同步利器
otter部署文档说明
05-31
otter部署流程，介绍详细，内容充实，符合跨区域数据库数据同步
Otter 双A同步搭建入门
12-23
Otter 是一个强大的分布式数据同步工具，主要用于在多个数据库之间进行实时的数据同步。它由阿里巴巴开源，被广泛应用于大数据架构中，确保数据的一致性和完整性。本教程将带你入门Otter的双A（即主主模式）同步搭建...
otter分布式数据库同步系统-其他
06-12
otter基于数据库增量日志解析，准实时同步到本机房或异地机房的mysql/oracle数据库、一个分布式数据库同步系统。 工作原理描述： 1、基于Canal开源产品，获取数据库增量日志数据。 什么是Canal，请点击 2、典型管理...
Otter配置教程，otter从入门配置到高级配置
08-31
Otter配置教程，otter从入门配置到高级配置，适合入门学习以及配置参考
alibaba-otter
09-30
项目背景 阿里巴巴B2B公司，因为业务的特性，卖家主要集中在国内，买家主要集中在国外，所以衍生出了杭州和美国异地机房的需求，同时为了提升用户体验，整个机房的架构为双A，两边均可写，由此诞生了otter这样一个产品。 otter第一版本可追溯到04~05年，此次外部开源的版本为第4版，开发时间从2011年7月份一直持续到现在，目前阿里巴巴B2B内部的本地/异地机房的同步需求基本全上了otter。 目前同步规模： 同步数据量6亿 文件同步1.5TB(2000w张图片) 涉及200+个数据库实例之间的同步 80+台机器的集群规模 项目介绍 名称：otter ['ɒtə(r)] 译意： 水獭，数据搬运工 语言： 纯java开发 定位： 基于数据库增量日志解析，准实时同步到本机房或异地机房的mysql/oracle数据库. 一个分布式数据库同步系统
Canal简介
qq_41794285的博客
11-29 992
简介 Canal：译意为水道/管道/沟渠，主要用途是基于 MySQL 数据库增量日志解析，提供增量数据订阅和消费 早期阿里巴巴因为杭州和美国双机房部署，存在跨机房同步的业务需求，实现方式主要是基于业务 trigger 获取增量变更。从 2010 年开始，业务逐步尝试数据库日志解析获取增量变更进行同步，由此衍生出了大量的数据库增量订阅和消费业务。 基于日志增量订阅和消费的业务包括 数据库镜像 数据...
分布式数据库同步系统之Otter
积跬步，至千里。
12-24 1771
分布式数据库同步系统之Otter
数据同步利器-otter的搭建使用说明
热门推荐
一个不是很好的好人的专栏
12-01 5万+
一、Otter目前支持了什么 1.单向同步， mysql/oracle互相同步 2.双向同步，无冲突变更 3.文件同步，本地/aranda文件 4.双A同步，冲突检测&冲突补救 5.数据迁移，中间表/行记录同步 导历史表还需要程序实现吗？ 还在用mysql的主从复制吗？ Otter都能为你解决。 典型的场景
数据同步工具otter(二)
frog4的专栏
08-13 1万+
简述 otter是一个基于canal的数据同步平台，含义是水獭，主要的功能就是可以将mysql的数据同步至另外mysql或者oracle，在项目中应用场景主要是多数据中心、BI系统抽取数据、灾备。 另外也支持双向同步（即A库同步给B库，B库也同步给A库）、文件同步，不过目前笔者这还没用到。 简单就可以理解成在canel的基础上做了一个mysql的同步平台（带WEB管理界面），在界面上，你可以...
otter单向同步实践问题小结
Even的博客
09-18 4058
A：故障;node未找到.                         原因：node机器添加完成后，跳转到机器列表页面，获取对应的机器序号nid,node节点对应的唯一标示 B:故障：Unsupported BinlogFormat MIXED               show variables like '%log%';后binlog_format值仍为MIXED  
Otter-入门篇1(阿里开源项目Otter介绍)
weixin_34055787的博客
07-27 796
2019独角兽企业重金招聘Python工程师标准>>> ...
otter快速开始
西京刀客
06-27 1万+
Otter otter是一款基于Java且免费、开源基于数据库增量日志解析，准实时同步到本机房或异地机房的mysql/oracle数据库的解决方案。 官方描述： 阿里巴巴B2B公司，因为业务的特性，卖家主要集中在国内，买家主要集中在国外，所以衍生出了杭州和美国异地机房的需求，同时为了提升用户体验，整个机房的架构为双A，两边均可写，由此诞生了otter这样一个产品。 otter第一版本可追溯到04~...
OTTER深度解析：数据同步解决方案与实战
"深入理解otter，这是一本关于阿里开源的数据同步工具otter的书籍，otter在数据同步领域有着重要的应用。本书探讨了otter的架构、设计以及如何应对各种同步挑战，如处理网络差异、数据一致性、高效同步等。此外，还...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值