alibaba/otter

最新推荐文章于 2024-03-20 09:41:18 发布
最新推荐文章于 2024-03-20 09:41:18 发布
阅读量155 收藏
点赞数
文章标签： 运维 java javascript ViewUI
原文链接：https://my.oschina.net/rootliu/blog/3074815
版权

 

Code Issues 160 Pull requests 2 Projects 0 Wiki Security

 

All your code in one place

Over 36 million developers use GitHub together to host and review code, project manage, and build software together across more than 100 million projects.

阿里巴巴分布式数据库同步系统(解决中美异地机房)
  •  
 
 
 
 
 
Latest commit c7b5f94 on 29 Mar
TypeNameLatest commit messageCommit time
 
 docker去掉dockerfile中RUN命令中的空行，后面版本的docker可能会把它作为错误对待8 months ago
 
 lib去掉dockerfile中RUN命令中的空行，后面版本的docker可能会把它作为错误对待8 months ago
 
 manager[maven-release-plugin] prepare for next development iteration8 months ago
 
 node[fixed issue #694 otter 同步 RDS 到 DRDS 出现拆分键无法更新问题]7 months ago
 
 shared[maven-release-plugin] prepare for next development iteration8 months ago
 
 .gitignorefixed docker run8 months ago
 
 HEADER.txtinit5 years ago
 
 LICENSE.txtinit5 years ago
 
 README.md更新Readme.md，新增商业化版本说明last year
 
 codeformat.xmlinit5 years ago
 
 codetemplates.xmlupgrade logger version and guava version4 years ago
 

 

README.md

 

最新更新

转载于:https://my.oschina.net/rootliu/blog/3074815

chiyijun0862
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
阿里巴巴开源项目：分布式数据库同步系统otter(解决中美异地机房)
2401_84023482的博客
05-04 592
otter能解决什么？异构库同步a. mysql -> mysql/oracle. (目前开源版本只支持mysql增量，目标库可以是mysql或者oracle，取决于canal的功能)单机房同步 (数据库之间RTT < 1ms)a. 数据库版本升级b. 数据表迁移c. 异步二级索引跨机房同步 (比如阿里巴巴国际站就是杭州和美国机房的数据库同不，RTT > 200ms，亮点a. 机房容灾双向同步a. 避免回环算法 (通用的解决方案，支持大部分关系型数据库)
otter
wjl7813的博客
01-30 305
1.Otter简介 1.1.项目介绍 名称：otter ['ɒtə(r)] 译意： 水獭，数据搬运工 语言： 纯java开发 定位： 基于数据库增量日志解析，准实时同步到本机房或跨机房的mysql/oracle数据库. 1.2.项目背景 阿里巴巴B2B公司，因为业务的特性，卖家主要集中在国内，买家主要集中在国外，所以衍生出了杭州和美国异地机房的需求，同
Otter-入门篇1(阿里开源项目Otter介绍)
weixin_34055787的博客
07-27 798
2019独角兽企业重金招聘Python工程师标准>>> ...
SSM整合项目总结（一）
weixin_43897803的博客
09-23 813
SSM项目企业权限管理系统 一. 项目中类的结构 数据库的表名 对应domain 对应dao 对应service的接口 对应service的实现类 对应controller 产品Product Product IProductDao IProductService ProductServiceImpl ProductController 订单Orders Orders IOrdersDao IOrdersService OrdersServiceImpl OrdersController
alibaba-otter
09-30
阿里巴巴B2B公司，因为业务的特性，卖家主要集中在国内，买家主要集中在国外，所以衍生出了杭州和美国异地机房的需求，同时为了提升用户体验，整个机房的架构为双A，两边均可写，由此诞生了otter这样一个产品。...
otter安装部署
04-08
wget https://raw.github.com/alibaba/otter/master/manager/deployer/src/main/resources/sql/otter-manager-schema.sql mysql -u root -poracle < otter-manager-schema.sql ``` 接下来配置`otter.properties`...
otter部署操作
11-07
### Otter部署操作详解 #### 一、Otter部署前准备与环境搭建 根据所提供的文件信息，Otter的部署操作主要包括几个关键步骤：MySQL安装、JDK安装配置、Zookeeper安装配置以及Manager服务的安装配置。 ##### MySQL...
otter源码包
03-16
**Otter源码分析** Otter，全称为Open Telephony Platform for Enterprise Reengineering，是由阿里巴巴开源的一款分布式数据同步工具。它主要用于实现数据库之间的实时增量数据同步，支持多种数据库类型，如MySQL...
otter部署文档说明
05-31
### Otter部署文档知识点 #### 一、Otter概述及工作原理 - **Otter**是一种用于实现跨数据中心或跨地域数据库同步的解决方案，主要基于阿里巴巴开源项目Canal来捕获MySQL实例的Binlog日志，并对这些日志进行解析...
探索阿里巴巴的Otter：实时数据同步神器
最新发布
gitblog_00024的博客
03-20 408
探索阿里巴巴的Otter：实时数据同步神器 otter阿里巴巴分布式数据库同步系统(解决中美异地机房)项目地址:https://gitcode.com/gh_mirrors/ot/otter 项目简介 是阿里巴巴开源的一款强大的分布式数据同步工具，主要用于实现数据库之间的实时增量数据迁移和同步。该项目旨在解决在大数据环境下，跨数据库、跨网络环境的数据流动问题，为用户提供稳定、高效、灵活的数据集成...
Alibaba Otter实现扩展导入nosql DB和其它DB
joez的专栏
10-19 1662
简介：        Alibaba Otter和Canal是抽取mysqlbinlog的工具，可以在不修改任何业务程序的情况下，以极小的网络IO代价抽取业务数据库的数据到离线分析数据库，在网络状况良好的情况下，可以实现延时小于1s的近实时数据同步。但是他仅仅支持同步到mysql,oracle数据库，实际离线分析中，往往需要数据导入到Kafka,HBase,Cassandra,GreenPlum
基于alibaba开源的分布式数据同步系统安装配置文档otter之环境配置
weixin_30758821的博客
05-14 90
otter项目开源地址：https://github.com/alibaba/otter canal项目开源地址：https://github.com/alibaba/canal 我们的用这个系统的背景：主要是做异地容灾，可是我们需要的现网的数据需要同步到容灾区。 工作原理： 原理描述： 1.基于Canal开源产品，获取数据库增...
otter,阿里巴巴分布式数据库同步系统
悦上心灵的博客
05-19 1721
otter,阿里巴巴分布式数据库同步系统
alibaba Otter binlog数据管理台manager权限配置修改
joez的专栏
11-10 977
Otter是alibaba数据抽取的好工具，异地数据迁移方便且效率高，但是这几天安全部门盯上来了，因为Otter Manager管理了各个数据库的帐号，连接方式，密码，并且匿名用户都直接可以登录查看，安全部一个扫描就发现了，于是需要修改配置。 Otter manager使用webx，所以只要修改webx.xml文件即可，otter\manager\deployer\src\main\resour
阿里otter简单记录
weixin_40455124的博客
03-21 480
简单测试了下阿里的otter，otter是阿里用于中美（远程）机房mysql数据库同步的工具，底层使用canal 如果不考虑机房距离，可以认为otter就是双向canal 如果要同步的数据不多，并且希望有UI，可以使用otter替代手工canal配置 otter 不支持schema同步 otter有一个全表数据同步（未测试）https://github.com/alibaba/otter/wiki/Manager%E9%85%8D%E7%BD%AE%E4%BB%8B%E7%BB%8D 全表同步也可以考虑m
alibaba otter docker 测试环境一键生成
CyrusZhou的专栏
10-04 542
1、创建配置文件 创建一个otter_Manager目录用来保存配置文件 新建docker-compose.yml文件 内容： version: "3" services: otter_manager: image: lsqtzj/otter_manager restart: always container_name: otter_manager hostname: otter_manager networks: otter:
吃透 OceanBase| 如何通过 Alibaba Otter 实现数据库的异地双活？
weixin_66463776的博客
01-13 385
学习分享
数据同步利器-otter的搭建使用说明
热门推荐
一个不是很好的好人的专栏
12-01 5万+
一、Otter目前支持了什么 1.单向同步， mysql/oracle互相同步 2.双向同步，无冲突变更 3.文件同步，本地/aranda文件 4.双A同步，冲突检测&冲突补救 5.数据迁移，中间表/行记录同步 导历史表还需要程序实现吗？ 还在用mysql的主从复制吗？ Otter都能为你解决。 典型的场景
docker 部署otter-server 消费rabbitmq 写入clickhouse 表名 字段映射
06-13
对于部署 Otter-Server，可以使用 Docker 镜像进行部署。具体步骤如下： 1. 下载 Otter-Server 的 Docker 镜像： ``` docker pull alibaba/otter ``` 2. 创建并启动容器： ``` docker run -d --name otter-server -p 8080:8080 -p 1099:1099 -p 2088:2088 \ -e JAVA_OPTS="-Dfile.encoding=UTF-8 -server -Xmx2g -Xms2g -Xmn512m -Xss256k -XX:+HeapDumpOnOutOfMemoryError -XX:HeapDumpPath=/data/heapdump" \ -v /yourpath/otter/data:/data -v /yourpath/otter/logs:/logs \ alibaba/otter ``` 其中，`/yourpath/otter/data` 和 `/yourpath/otter/logs` 是宿主机器上存储 Otter-Server 数据和日志的路径，可以自行修改。 3. 进入容器内部： ``` docker exec -it otter-server /bin/bash ``` 4. 修改 Otter-Server 配置文件： Otter-Server 的配置文件位于 `/data/otter/conf/otter.properties`，可以使用 `vi` 命令进行编辑。 在配置文件中，需要添加以下配置： ``` otter.amqp.addresses=amqp://guest:guest@<your-rabbitmq-host>:5672 otter.clickhouse.addresses=<your-clickhouse-host>:8123 ``` 其中，`<your-rabbitmq-host>` 和 `<your-clickhouse-host>` 分别为 RabbitMQ 和 ClickHouse 的地址。 5. 重启 Otter-Server： ``` /data/otter/bin/stop.sh /data/otter/bin/startup.sh ``` 至此，Otter-Server 的部署完成。 关于消费 RabbitMQ 并写入 ClickHouse 的问题，需要在 Otter-Server 中配置 Canal，具体步骤如下： 1. 在 Otter-Server 配置文件中添加 Canal 配置： ``` otter.canal.zookeeper.cluster=<your-zookeeper-host>:2181 ``` 其中，`<your-zookeeper-host>` 为 ZooKeeper 的地址。 2. 在 Otter-Server 中创建 Canal 实例： 使用 `otter-admin` 工具创建 Canal 实例，具体命令如下： ``` cd /data/otter/otter-admin/bin ./otter.sh create --type canal --mode memory --zoohost <your-zookeeper-host>:2181 --canalId <your-canal-id> --destination <your-destination> ``` 其中，`<your-canal-id>` 和 `<your-destination>` 分别为 Canal 实例的 ID 和名称。 3. 在 Otter-Server 中配置 Canal 映射关系： 使用 `otter-admin` 工具配置 Canal 映射关系，具体命令如下： ``` cd /data/otter/otter-admin/bin ./otter.sh canal --c <your-canal-id> --s <your-rabbitmq-exchange> --d <your-clickhouse-table> --m <your-field-mapping> ``` 其中，`<your-rabbitmq-exchange>` 和 `<your-clickhouse-table>` 分别为 RabbitMQ 的 Exchange 和 ClickHouse 的表名，`<your-field-mapping>` 为字段映射配置。 至此，Otter-Server 就可以消费 RabbitMQ 并将数据写入 ClickHouse 中了。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值