Mysql Transfer配置

最新推荐文章于 2021-02-17 20:05:20 发布
最新推荐文章于 2021-02-17 20:05:20 发布
阅读量1.2k 收藏
点赞数
分类专栏： Linux技术 文章标签： linux Linux LINUX mysql MySQL Mysql MYSQL transfer
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/nmjnglx/article/details/8447085
版权
本文介绍了如何安装和配置Transfer，一个由淘宝丁奇开发的多线程MySQL同步程序，以提升主从同步效率。详细步骤包括解压安装MySQL、新建配置文件、设置远程奴隶参数、替换mysqld文件、导入数据以及设置主从关系。
摘要由CSDN通过智能技术生成

在Mysql的主从同步是单线程的，这样在对多张表进行同步时往往速度会比较慢。针对这样的情况，淘宝丁奇在mysql基础上开发了一个新的支持多线程同步的程序，命名为Transfer，有兴趣的同学可以阅读他的博客http://dinglin.iteye.com/blog/1581877。

Transfer本身也是Mysql，只不过是用来转发而已，它的数据库中有需要同步的表的结构但是没有数据。Transfer往往和Slave部署在一起，当然也可以单独部署。从Master的角度来看，它的Slave就是Transfer；而从Salve的角度来看，Transfer就是一个Client而已。对于多台Master对应一个Slave的情况，可以在Salve上部署多台Transfer应对，即每台Transfer分别对应一个Master。在丁奇的博客中有具体描述，这里就不赘述。

本文直接介绍如何安装Transfer，如果对如何用源码安装mysql，部署多实例数据库，设置主从同步不太清楚的同学，可以参考我之前的博客。

【背景】

     两台server均安装mysql，一台作为master，一台作为slave

【环境】

     Redhat + mysql5.5.18 + transfer2.1

【参考】

     http://dinglin.iteye.com/blog/1581877

    

最低0.47元/天 解锁文章
nmjnglx
关注
专栏目录
SpringBoot入门教程：使用go-mysql-transfer将mysql同步到elasticsearch
人不风流枉少年
12-07 946
一：安装 GitHub: https://github.com/wj596/go-mysql-transfer 1.1 linux、windows安装 直接下载二进制文件.zip即可。 1.2 Mac安装 1.2.1 安装go并配置环境变量 Mac没有二进制文件，所以只能自己下载源码进行编译，go-mysql-transfer 是使用go语言开发的，所以需要先安装go语言https://studygolang.com/dl，然后配置环境变量。 vi ~/.bash_profile # GO的安装目录 e
go-mysql binlog_MySQL Binlog 增量同步工具go-mysql-transfer实现详解
weixin_33344629的博客
01-19 1131
一、 概述=================工作需要研究了下阿里开源的MySQL Binlog增量订阅消费组件canal，其功能强大、运行稳定，但是有些方面不是太符合需求，主要有如下三点：1、需要自己编写客户端来消费canal解析到的数据2、server-client模式，需要同时部署server和client两个组件，我们的项目中有6个业务数据库要实时同步到redis，意味着要多部署12个组件，...
MySQL多线程同步MySQL-Transfer介绍
03-02
MySQL-Transefer（下称Transfer）是一个基于MySQL+patch后得到的主从同步工具。其主要目的是为了解决原生版本的主从同步里，从库是单线程apply主库的binlog，导致的延迟。最近完成测试的版本将multi-master(byP.Linux)合并到Transfer中并针对支付宝的应用需求做了定制性能改进。这里做一个已经完成的完整功能介绍。说明：1、Transfer可以注册成多个Master的从库2、Transfer接收多个Master传入的binlog后将更新执行到Slave上3、Transfer本地没有数据如果你没有多主的需求，那结构就是Master->Trans
mysql transfer 安装_MySQL多线程同步MySQL-Transfer介绍
weixin_29484843的博客
02-17 152
一、关于TransferMySQL-Transefer(下称Transfer)是一个基于MySQL+patch后得到的主从同步工具。其主要目的是为了解决原生版本的主从同步里，从库是单线程apply主库的binlog，导致的延迟。最近完成测试的版本将multi-master (by P.Linux)合并到Transfer中并针对支付宝的应用需求做了定制性能改进。这里做一个已经完成的完整功能介绍。二、...
MySQL-Transfer2.2发布
秋韩
07-11 1364
Transfer 2.2发布。下载地址   版本说明 1、  基于版本 Percona-5.5.31 ，简单用法是先安装好官方或PS版5531，然后替换为transfer的mysqld。 2、  新增观察参数 Com_ts_* 在压测过程中，可使用如下命令观察 mysqladmin --socket=run/mysql.sock -uroot   extended-status -
MySQL-Transfer2.3发布
追风刀·丁奇
12-01 153
Transfer 2.3发布，下载地址   此版本除了升级based版本外 *优化了无索引表的同步性能 *优化了slave模式下超大事务内存消耗问题 *Transfer模式相关的功能改动较多 *修复transfer模式下超大事务可能同步失败的bug   由于有两个公司的同学在使用5.5.31，因此该版本的改动也同时backport到5.5.31，下载地址 版本说明 1、   ...
go-mysql-transfer是一款MySQL数据库实时增量同步工具.rar
最新发布
07-28
go-mysql-transfer是一款MySQL数据库实时增量同步工具。 能够监听MySQL二进制日志(Binlog)的变动，将变更内容形成指定格式的消息，实时发送到接收端。从而在数据库和接收端之间形成一个高性能、低延迟的增量数据...
go mysql transfer_MySQL Binlog 增量同步工具go-mysql-transfer实现详解
weixin_30884743的博客
02-15 1870
#一、 概述工作需要研究了下阿里开源的MySQL Binlog增量订阅消费组件canal，其功能强大、运行稳定，但是有些方面不是太符合需求，主要有如下三点：1、需要自己编写客户端来消费canal解析到的数据2、server-client模式，需要同时部署server和client两个组件，我们的项目中有6个业务数据库要实时同步到redis，意味着要多部署12个组件，硬件和运维成本都会增加。3、从s...
mysql transfer_MySQL多线程同步MySQL-Transfer介绍
weixin_34101577的博客
01-27 376
一、关于TransferMySQL-Transefer(下称Transfer)是一个基于MySQL+patch后得到的主从同步工具。其主要目的是为了解决原生版本的主从同步里，从库是单线程apply主库的binlog，导致的延迟。最近完成测试的版本将multi-master (by P.Linux)合并到Transfer中并针对支付宝的应用需求做了定制性能改进。这里做一个已经完成的完整功能介绍。二、...
mysql transfer 架构_Transfer在MySQL双主同步架构中的应用
weixin_42434656的博客
01-21 161
有同学讨论到Transfer能否支持双主结构，答案是支持的，这里简要描述下。背景Transfer既可以当作主从库之外的工具来用，也可以本身充当slave的角色。本文分别描述在这两种使用场景下的部署结构和切换动作。Slave模式a) 结构这个就是最简单的双主啦，Transfer呢？代码直接写到这两个Master里面啦，所以他们就是Transfer.b) 切换DBA同学就用你最熟悉...
数据迁移的几种方式 - MySQL数据库
热门推荐
微光点亮星辰
05-12 2万+
本文关键字：MySQL、数据库、数据迁移、导入、导出。开始和数据库玩耍以后，我们将一直与SQL和数据打交道。在日常的操作中，我们只需要对指定的数据库进行操作，执行增删改查，权限管理等。但有些时候由于项目的升级，或者服务器的更换，我们要将数据从一个地方转移到另一个地方，准确的说是从一个数据库服务转移到另一个数据库服务中，因为我们还要继续使用这些数据。
mysql data transfer_MySQL
weixin_34384824的博客
01-27 291
内容回顾select distinct 字段1，字段2，。。。 from 表名where分组之前的过滤条件group by 分组条件having分组之后过滤条件order by 排序字段1 asc，排序字段2 desclimit 5,5as语法中给某个查询结果起别名的时候需要把查询语句中的分号去除(select name,salary*12 as '年薪' from emp) as t1;# 一个...
mysql transfer 下载_MySQL-Transfer2.2发布
weixin_28720573的博客
02-07 109
Transfer 2.2发布。下载地址版本说明1、基于版本Percona-5.5.31，简单用法是先安装好官方或PS版5531，然后替换为transfer的mysqld。2、新增观察参数Com_ts_*在压测过程中，可使用如下命令观察mysqladmin --socket=run/mysql.sock -urootextended-status --relative --sle...
mysql data transfer_Data Transfer By Sqoop2
weixin_39881958的博客
02-17 207
本文主要描述了HDFS和RDBMS数据库之间的数据迁移。一、创建Link这里主要描述下Oracle、PostgreSQL、MySQL以及HDFS的link创建。1.1 JDBC驱动安装从官网下载Oracle和PostgreSQL的jdbc驱动，拷贝到$SQOOP_HOME/server/lib，然后重启sqoop2服务器。我这里用到的Oracle jdbc驱动为ojdbc6.jar，Postgre...
Transfer在MySQL双主同步架构中的应用
追风刀·丁奇
09-05 118
有同学讨论到Transfer能否支持双主结构，答案是支持的，这里简要描述下。   背景        Transfer既可以当作主从库之外的工具来用，也可以本身充当slave的角色。本文分别描述在这两种使用场景下的部署结构和切换动作。    Slave模式 a)      结构 这个就是最简单的双主啦，Transfer呢？代码直接写到这两个Master里面啦，所以他们就是Tran...
mysql transfer_Transfer在MySQL双主同步架构中的应用
weixin_32392989的博客
01-27 130
有同学讨论到Transfer能否支持双主结构，答案是支持的，这里简要描述下。背景Transfer既可以当作主从库之外的工具来用，也可以本身充当slave的角色。本文分别描述在这两种使用场景下的部署结构和切换动作。Slave模式a) 结构这个就是最简单的双主啦，Transfer呢？代码直接写到这两个Master里面啦，所以他们就是Transfer.b) 切换DBA同学就用你最熟悉...
go mysql transfer_部署运行 · go-mysql-transfer产品手册 · 看云
05-26
2. 配置go-mysql-transfer：在安装完成后，您需要根据您的需求编辑config.json文件。该文件包含了源和目标数据库的连接信息、转换规则等配置。 3. 运行go-mysql-transfer：启动go-mysql-transfer，您可以使用以下...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值