TiDB 学习第 6 天：全量数据同步之 mydumper&loader 工具的使用

最新推荐文章于 2024-04-01 10:28:44 发布
最新推荐文章于 2024-04-01 10:28:44 发布
阅读量1.4k 收藏 1
点赞数 1
分类专栏： TiDB 文章标签： TiDB
原创不易，转载请注明出处！
本文链接：https://blog.csdn.net/weixin_43129750/article/details/103367576
版权

一、全量同步Mysql数据

将mysql中的数据全量同步到TiDB中
**说明：**数据全量同步使用TiDB工具mydumper/loader，可以使用 mydumper 从 MySQL 导出数据，然后用 loader 将其导入到 TiDB 数据库中

为了快速的迁移数据 (特别是数据量巨大的库)，可以参考以下建议：

  • mydumper 导出数据至少要拥有 SELECT，RELOAD，LOCK TABLES 权限
  • 使用 mydumper 导出来的数据文件尽可能的小，最好不要超过 64M，可以设置参数 -F 64
  • loader的 -t 参数可以根据 tikv 的实例个数以及负载进行评估调整，例如 3个 tikv 的场景，此值可以设为 3 *（1 ～ n)；当 tikv 负载过高，loader 以及 tidb 日志中出现大量 backoffer.maxSleep 15000ms is exceeded 可以适当调小该值，当 tikv 负载不是太高的时候，可以适当调大该值。

二、下载TiDB工具集

# 下载 tool 压缩包
wget http://download.pingcap.org/tidb-enterprise-tools-latest-linux-amd64.tar.gz
wget http://download.pingcap.org/tidb-enterprise-tools-l
最低0.47元/天 解锁文章
坚强的小土豆
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
tidb 导入 mysql_TiDB数据库 mydumper与loader导入数据
weixin_39736934的博客
01-30 203
mysql> select * fromhaha->;+------+------+| id | name |+------+------+| 1 | chen || 2 | chao || 3 | feng |+------+------+3 rows in set (0.00sec)mysql>drop table haha；Query OK,0 row...
docs-dm:TiDB数据迁移（DM）工具的中文和英文文档
04-09
TiDB数据迁移（DM）文档 该存储库在PingCAP网站上存储所有源文件。 也就是的文档。 当前，官方文档支持两种语言： en ： zh ： 您可以使用Google翻译查看不同语言的文档。 例如： fr ： ja ： ko ： id ： 文档...
TiDB数据库 mydumper与loader导入数据
weixin_34072159的博客
12-04 358
从mysql导出数据最好的方法是使用tidb官方的工具mydumper。 导入tidb最好的方法是使用loader工具，大概19.4G每小时的速度。 详细的步骤可以参考官网：https://pingcap.com/docs-cn/op-guide/migration-overview/ 自己的总结：以前将mysq导出数据的时候，是一个大的sql文件，比如这次就是从mysql中导出一个41G大...
tidb-逻辑备份（6）-lightning导入工具的部署、使用
最新发布
汪灵骅的博客
04-01 795
服务器宕机之类的，可以通过断点续传继续，但是如果数据因不可恢复的错误报错，重启时不会使用断点，会直接报错离开。# 2. 考虑到与旧版本的兼容性，依然可以在本配置项设置 `true` 和 `false` 两个布尔值，其效果与 `required` 和 `off` 相同。从 v4.0.8 开始，checksum 的默认值由此前的 "true" 改为 "required"。# 若 driver = "mysql"，此参数为数据库连接参数 (DSN)，格式为“用户:密码@tcp(地址:端口)/”。
tidb和mysql导数据_TiDB数据库 mydumper与loader导入数据
weixin_28340315的博客
01-30 140
mysql> select * fromhaha->;+------+------+| id | name |+------+------+| 1 | chen || 2 | chao || 3 | feng |+------+------+3 rows in set (0.00sec)mysql>drop table haha；Query OK,0 row...
mydumper&myloader使用介绍
sunashe的个人随笔
08-22 1524
软件简介 更快的，mysql数据库多线程导入导出工具。 下载 https://launchpad.net/mydumper/+download && 10.127.42.1:/data/all_tar/mydumper-0.9.1.tar.gz 安装 Ubuntu or Debian: apt-get install libglib2.0-dev libmysql...
Tidb备份数据库——恢复到不同的库脚本（批量替换文件名及内容名）
jiangbenchu的博客
11-08 1166
修改库名的脚本 ./mydumper -h 192.168.180.3 -u root -p q1w2 -P 4000 -t 16 -F 64 -B dev2_kelun --skip-tz-utc -o ./leo bat_rename.sh #!/bin/sh # 使用方法 ./bat_rename.sh 路径 原文件名 新文件名 # 批量修改文件名 dir=$1 for file_path...
TiDB工具——学习笔记
02-26
DM 工具简化了迁移过程，降低了运维成本，支持全量数据迁移和增量数据同步，确保了从源数据库到 TiDB 的平滑过渡。 4. **Backup & Restore (BR)** BR 是 TiDB 针对大规模数据备份和恢复的命令行工具。与 Dumpling ...
当TiDB与Flink相结合：高效、易用的实时数仓
02-23
随着互联网飞速发展，企业业务种类会越来越多，业务数据量会越来越大，当发展到一定规模时，传统的数据存储结构逐渐无法满足企业需求，实时数据仓库就变成了一个必要的基础服务。以维表Join为例，数据在业务数据源中...
tichecker:tichecker工具用于在线在线验证MySQL-> TiDB基于DM实时同步数据一致性
03-13
替身者ticheker工具用于在线在线校准MySQL-> TiDB基于同步数据一致性，支持合库合表场景，秉承最小业务侵入原则，非binlog以及加事务锁机制，主要原理是基于上下游表范围计算校验和【chunk切分切小，按理数据变化...
tidb-vision:TiDB 数据可视化
05-30
TiDB 愿景 tidb-vision是一个组件，通过独立的 UI 框架提供 PD 调度的可视化。 它使用d3（data-driven-document）作为底层渲染库，使用扩展的Circos作为基础布局引擎，实现stacks、circle Sector、chords等布局。 ...
mydumper/loader常用参数解释及使用,以及调整tidb数据库gc时间
jiangbenchu的博客
11-16 1690
mydumper 常用参数解释 -B, --database 要备份的数据库，不指定则备份所有库 -T, --tables-list 需要备份的表，名字用逗号隔开 -o, --outputdir 备份文件输出的目录 -s, --statement-size 生成的insert语句的字节数，默认1000000 -r,...
MySQL TiDB PingCAP mydumper
weixin_30279315的博客
05-31 188
MySQL备份之【mydumper 学习】 - jyzhou - 博客园https://www.cnblogs.com/zhoujinyi/p/3423641.html maxbube/mydumper: Official mydumper projecthttps://github.com/maxbube/mydumper Releases · maxbube/mydumperhttps:/...
TiDB数据库备份恢复与数据迁移
YunWisdom
03-03 1316
TiDB数据库备份恢复与数据迁移 数据迁移 使用mydumper/loader全量导入数据 mydumper/loader全量导入数据最佳实践 某次导入示例，以及相关的配置 从 MySQL 导出数据 向 TiDB 导入数据 使用syncer增量导入数据 下载 TiDB 企业版工具集 (Linux) 获取同步 position 启动syncer 在 MySQL 插入新的数据 数据迁移 使用m...
TIDB-数据导出
line_on_database的博客
05-26 1686
一、数据迁移方式 1.mysqldump 解释：mysqldump可以从mysql迁移到tidb,数据量小的时候比较好用，但是当数据量较大了，迁移时间会比较长 2.mydumper 解释：mydumper有两种，一种是我们所熟悉的mydumper,或者说原生mydumper，另一种则是tidb封装的mydumper，原生mydumper相对来说比较好用，而因为tidb后期维护了dumpling,而不是mydumper,所以tidb封装的mydumper在大数据量导出时会遇到多种问题。 问题一、
Mysql数据迁移到TIDB详解
Peter_Changyb的博客
09-05 7420
我从业16年来，使用了太多的数据库（RDBMS->NoSQL->NewSQL），首先我说一下数据库的变迁和发展历史: 以 MySQL 为例刚开始时，它是一个单机模式，但是随着数据库的数据量的增加及用户对性能要求的提高，它的存储容量和性能都遇到了瓶颈。 这些需求催生了新的解决方案，那就是 MySQL 主从模式，进而将读写分离，减轻了读写系统的负担。虽然可以是多从，但是主是单点的。接下...
mydumper安装和使用
DBASpace的博客
03-08 2841
mydumper作为一个实用工具，能够良好支持多线程工作，可以并行的多线程的从表中读入数据并同时写到不同的文件里，这使得它在处理速度方面快于传统的mysqldump。其特征之一是在处理过程中需要对列表加以锁定，因此如果我们需要在工作时段执行备份工作，那么会引起DML阻塞。但一般现在的MySQL都有主从，备份也大部分在从上进行，所以锁的问题可以不用考虑。这样，mydumper能更好的完成备份任务。m...
TiDB数据库 mydumper命令导出数据报错：(mydumper:1908): CRITICAL **: Couldn't acquire global lock, snapshots will...
weixin_33860553的博客
11-16 737
今天想使用Tidb官方提供的mydumper来备份AWS上的RDS集群中mysql数据库的某个表，发现报错了 [tidb@:xxx /usr/local/tidb-tools]$sudo bin/mydumper -h xxx -u xxx -p xxx -P 3306 -t 4 -F 64 -B xxx -T xxx -o /data/test1/ ** (mydumper:1908):...
TiDB的数据迁移和同步
互联网知识分享
10-04 455
数据迁移和同步是数据库管理中重要的任务，它们用于将数据从一个数据库系统迁移到另一个数据库系统，或者在多个数据库之间保持数据的一致性。在TiDB中，数据迁移和同步可以通过多种方式实现，包括备份和恢复、ETL工具、以及增量同步等。TiDB提供了多种数据迁移和同步的方法，包括备份和恢复、ETL工具以及增量同步。根据具体的需求和场景，可以选择合适的方法进行数据迁移和同步。备份和恢复适用于简单的数据迁移，ETL工具适用于复杂的数据转换和清洗，而增量同步适用于实时的数据同步。
TIDB数据库基础培训资料
06-20
1.体系架构 2.集群管理 3.备份恢复 4.数据迁移 5.同步复制

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值