阿里MYSQL数据搬运工具 otter安装配置

最新推荐文章于 2024-07-02 08:13:11 发布

老佘

最新推荐文章于 2024-07-02 08:13:11 发布

阅读量3.3k

点赞数

分类专栏：架构设计文章标签：系统架构数据库数据

本文链接：https://blog.csdn.net/sheyujun/article/details/37922297

版权

本文介绍了阿里开源工具Otter的安装配置过程，包括环境准备、数据库初始化、Zookeeper、Manager和NODE的安装。Otter基于Canal获取数据库增量日志，实现MySQL数据的准实时同步。此外，文章还提到了Otter存在的同步限制和数据一致性问题。

摘要由CSDN通过智能技术生成

一、介绍

https://github.com/alibaba/otter

名称：otter ['ɒtə(r)]

译意：水獭，数据搬运工

语言：纯java开发

定位：基于数据库增量日志解析，准实时同步到本机房或异地机房的mysql/oracle数据库. 一个分布式数据库同步系统

https://github.com/alibaba/canal

名称：canal [kə'næl]

译意：水道/管道/沟渠

语言：纯java开发

定位：基于数据库增量日志解析，提供增量数据订阅&消费，目前主要支持了mysql

关键词： mysql binlog parser / real-time / queue&topic

工作原理

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

老佘

关注关注

0
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

otter-使用、维护说明.doc

09-16

otter作为mysql日志级同步工具，维护简单，功能强大，性能优异

玩转Otter、Canal系列 - 工作原理、全系列搭建及使用流程详解

Ghostbamboo的博客

11-02

6029

文章目录一 3w分析及原理运行机制说明二 Otter搭建1.Docker部署2.Release包部署1.需要先创建好otter所依赖的数据库2.下载manager、node3.解压缩并配置manager(需要首先配置manager, 再配置node)4.安装aria25.安装node6.manager页面进行相关配置就可以开始食用了三 otter食用otter同步约定数据库配置配置流程四常见问题1. java命令不在otter查找目录内2. Zookeeper页面点击刷新按钮报错3. node 报内存不足

参与评论您还未登录，请先登录后发表或查看评论

8种数据迁移工具

最新发布

辣香牛肉面的博客

07-02

1396

最近有些小伙伴问我，ETL数据迁移工具该用哪些。ETL(是Extract-Transform-Load的缩写，即数据抽取、转换、装载的过程)，对于企业应用来说，我们经常会遇到各种数据的处理、转换、迁移的场景。今天特地给大家汇总了一些目前市面上比较常用的ETL数据迁移工具，希望对你会有所帮助。

Otter 安装部署维护

fiendbaal的博客

12-24

2177

介绍淘宝开源的产品，基于数据库增量日志解析，准实时同步到本机房或异地机房的mysql/oracle数据库，一个分布式数据库同步系统。目前同步规模：同步数据量6亿文件同步1.5TB(2000w张图片) 涉及200+个数据库实例之间的同步 80+台机器的集群规模工作原理原理描述： 1.基于Canal开源产品，获取数据库增量日志数据。 2. 典型管理系统架构，manager(web管理)+node(工作节点) a. manager运行时推送同步配置到node节点 b. node节点将同步状态反馈

MySQL 数据同步——Otter

堂哥码财的博客

09-29

886

Otter 简介 Ottter是由阿里开源的一个数据同步产品,Otter基于数据库增量日志解析，支持mysql/oracle数据库进行同步，是基于Canal的具有可视化控制后台的数据库同步系统。 Otter工作原理 Otter特性使用纯JAVA开发。基于Canal获取数据库增量日志。使用manager(web管理)+node(工作节点),manager负责配置监控,node负责处理任务。基于zookeeper,解决分布式状态调度的，允许多node节点之间协同工作。使用aria2多线程传输技术,

1、mysql数据库双机同步开源软件otter的安装一

在路上

12-09

5788

otter的wiki页面：https://github.com/alibaba/otter otter的环境需要：mysql ，jdk, zookeeper , node , aria2 , manager 为了防止otter的闪断，我把一些软件上传到了百度云上： http://pan.baidu.com/share/link?uk=3708161223&shareid=29876467

otter同步mysql数据操作指南.docx

03-19

Otter 是阿里巴巴开源的分布式数据同步系统，能够将数据从一个 MySQL 数据库同步到另一个 MySQL 数据库。本文档将指导您如何使用 Otter 同步 MySQL 数据。为什么选择 Otter 随着大数据时代的到来，数据同步变得...

otter安装部署

04-08

Otter是阿里巴巴开源的一款MySQL数据同步工具，主要用于实现MySQL数据库之间的复制同步。通过它，可以轻松搭建MySQL集群，适用于多种场景的数据同步需求。 #### 二、环境准备在进行Otter的安装部署之前，确保已...

数据同步利器--otter搭建使用说明

12-01

Otter 是阿里巴巴开源的一款强大的数据同步工具，特别适合在分布式环境中进行实时的数据迁移和同步。它解决了传统数据库主从复制的局限性，提供了更高效、灵活的解决方案。本篇文章将详细介绍Otter的主要功能、架构...

Otter配置教程，otter从入门配置到高级配置

08-31

Otter配置教程，otter从入门配置到高级配置，适合入门学习以及配置参考

otter4使用介绍.pdf

11-22

阿里巴巴的分布式数据库同步系统Otter4是一种用于解决中美异地机房数据库数据同步问题的解决方案。本文档详细介绍了其使用方法，并以otter4为例，解释了如何进行mysql与Oracle数据库之间的跨机房数据同步。下面将...

使用Otter同步MySQL数据详解

java专栏

04-03

554

使用Otter同步MySQL数据可以帮助你实现准实时的数据同步和备份。同时，根据同步的性能指标，你可以调整Otter的配置参数或者优化数据库的性能来提高同步效率。确保MySQL的binlog日志格式是ROW或者MIXED，因为Otter是基于binlog的ROW格式进行解析的。在otter.properties中，你需要配置MySQL数据源和目标库的连接信息，包括URL、用户名、密码等。如果MySQL的数据表结构发生了变化（例如增加了新的字段），你需要更新Otter的配置文件以反映这些变化。

otter实时同步mysql配置

anguoan的博客

07-24

321

otter实时同步mysql 实战配置

Canal+Otter实现Mysql数据库数据记录增量备份实践

纸上得来终觉浅，绝知此事要躬行

04-28

4067

通过之前对Canal的了解，我们知道Canal实际上只做了日志级别的读取和操作事件的捕获，对于如何将获取到的增量日志保存到目标数据库去，这里单纯地通过Canal来做就需要做很多后续解析的工作，好在阿里都给出了解决方案，那就只Otter。Otter就是来帮助我们让源数据库的数据通过binlog再次写入到目标数据库。目录必须弄清楚的两个问题 Canal帮我们做了什么？我们将用Otter来...

Otter-入门篇1(阿里开源项目Otter介绍)

weixin_34055787的博客

07-27

801

2019独角兽企业重金招聘Python工程师标准>>> ...

otter实时mysql增量同步服务器部署方案

lwx2523的博客

04-28

346

本人亲自操作的部署方案，已经生产环境使用。仅支持mysql开启binlog row模式

Otter实现Msql主从同步

NeboFeng的博客

07-29

1406

需求：实现主机a(hadoop2)的mysql数据同步到主机b(hadoop4)的mysq中。参考文档：https://github.com/alibaba/canal https://github.com/alibaba/otter/wiki/QuickStart https://segmentfault.com/a/1190000010772134#articleHeader0 配置...

mysql 双向镜像_mysql双A同步搭建Otter一键部署教程

weixin_39955938的博客

02-01

228

Ottter是由阿里巴巴开源的一个数据同步产品,它的最初的目的是为了解决跨国异地机房双A架构,两边可写的场景，目前阿里巴巴B2B内部的本地/异地机房的同步需求基本全上了Otter。Otter基于数据库增量日志解析，准实时同步到本机房或异地机房的mysql/oracle数据库. 一个分布式数据库同步系统。Otter应用场景1、异构库同步Otter支持从Mysql同步到Mysql/oracle,我们可...

otter mysql教学视频_3.Otter快速上手

weixin_35390379的博客

02-01

372

QuickStart1.几点说明有一点特别注意：目前canal支持mixed,row,statement多种日志协议的解析，但配合otter进行数据库同步，目前仅支持row协议的同步，使用时需要注意.环境准备操作系统a. otter为纯java编写，windows/linux均可支持b. jdk建议使用1.6.25以上的版本，稳定可靠，目前阿里巴巴使用基本为此版本整个otter同步由几部分组成，需...

OTTER：MySQL日志同步工具详解与配置教程

OTTER是一款专为MySQL数据库设计的日志级同步工具，其核心功能是高效地将源数据库的数据变化实时复制到目标数据库，以实现数据库的高可用性和数据一致性。OTTER以简洁的管理界面和强大的性能优化著称，通过以下几个...