【TiDB入门】4.TiDB DM 数据迁移（小数据量）

已于 2023-10-31 14:51:02 修改
阅读量56 收藏
点赞数
文章标签： tidb
于 2023-10-31 10:06:21 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_32633549/article/details/133954134
版权

[官方文档]：从小数据量 MySQL 迁移数据到 TiDB
上游数据库（MySQL）需开启 binlog

2.命令模式

  • 配置文件
  • 加载数据源配置模式
tiup dmctl --master-addr=127.0.0.1:8261 operate-source create source1.yaml

在这里插入图片描述

tiup dmctl --master-addr=127.0.0.1:8261 check-task task1.yaml

在这里插入图片描述

tiup dmctl --master-addr=127.0.0.1:8261 start-task task1.yaml

在这里插入图片描述

tiup dmctl --master-addr=127.0.0.1:8261 query-status test

在这里插入图片描述

3.UI界面模式
配置文件
配置文件

  • 添加数据源

在这里插入图片描述

  • 创建同步任务

创建同步任务
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
迁移结果：
在这里插入图片描述
在这里插入图片描述

opkcloud
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
docs-dm:TiDB数据迁移（DM）工具的中文和英文文档
04-09
TiDB数据迁移（DM）文档 该存储库在PingCAP网站上存储所有源文件。 也就是的文档。 当前，官方文档支持两种语言： en ： zh ： 您可以使用Google翻译查看不同语言的文档。 例如： fr ： ja ： ko ： id ： 文档...
TiDB in action.pdf 介绍Tidb原理和最佳实践
10-16
TiDB in action, TiDB-in-action, 原网站url链接https://book.tidb.io/。介绍tidb的一些原理和最佳实践。由于想要离线看，所以生成pdf，原网站pdft的链接失效，无法下载。本pdf导出时间为 2022.10.16
TiDB实战篇-Data Migration (DM) 同步数据
S1124654的博客
04-22 1281
TiDB实战篇-Data Migration (DM) 同步数据
TIDB - 使用 TiDB Binlog 将日志同步至下游 Kafka 中
小毕超博客
12-05 6847
一、TiDB Binlog 在上篇文章中我们介绍了使用TiDB Binlog将数据同步至下游的Mysql 中，本篇我们学习下使用TiDB Binlog工具将数据同步至Kafka中自定义业务逻辑，比如可以做TIDB和ES、MongoDB 或 Redis的数据同步，这功能就和Canal解析Mysql的binlog功能相差不大。如果还不了解TiDB Binlog工具的也可以参考我的上篇博客： https://blog.csdn.net/qq_43692950/article/details/121597230
5分钟搞定 MySQL 到 TiDB 的数据同步 - CloudCanal实战
Kami‘s home
08-27 798
cloudcanal-zycgit 简述 TiDB 是国内非常火热的一款分布式数据库，参考 Google Percolator 和 Spanner 模型进行构建，具备很好的扩展性，并且支持强一致事务和一定的计算能力，应用广泛。 CloudCanal 提供了从传统关系型数据库实时同步到 TiDB 的能力，并且附带数据迁移、数据校验、数据订正等能力。此文章简要介绍如何快速构建一条长期稳定运行的 MySQL->TiDB 数据链路。 技术要点 MySQL 协议兼容性 TiDB 对于 MySQL 协议兼容做得不
【TiDB入门】8.TiDB 数据同步 TiCDC
qq_32633549的博客
10-31 164
TiDB 数据同步 TiCDC
TiDB学习之 MySQL数据同步
每天学习一点点的博客
08-06 1203
1、首先用check检查mysql数据库表是否支持迁移到TiDB 2、使用mydumper和myloader全量导入数据，mydumper从MySQL导出数据，然后myloader将数据导入TiDB （注意，虽然我们也支持使用 MySQL 官方的 mysqldump 工具来进行数据的迁移工作，但相比于 mydumper/myloader，性能会慢很多，对于大量数据的迁移会花费很多时间，这里我们并不...
TiDB数据库 使用syncer工具同步实时数据
weixin_34113237的博客
11-16 741
mysql> select campaign_id ,count(id) from creative_output group by campaign_id; 602843 rows in set (4 min 44.23 sec) mysql> select is_cr_own ,count(id) from creative_output group by is_c...
tidb技术分享.pptx
03-23
tidb的简介、安装部署、Sql操作等
tidb-ansible.rar
02-12
tidb-ansible.rargit clone -b v3.0.2 https://github.com/pingcap/tidb-ansible.git
PCTA认证-- TIDB数据迁移
02-08
TIDB数据迁移模块学习总结
TiDB工具TICDC 数据同步至 MySQL初体验
linnana的专栏
06-24 1217
TiCDC 作为 TiDB 的增量数据同步工具，通过 PD 内部的 etcd 实现高可用，通过多个 TiCDC 进程获取 TiKV 节点上的数据改变，在内部进行排序、合并等处理之后，通过多个同步任务 (Changefeed)，同时向多个下游系统进行数据同步。实际应用场景一般是源端TiDB已投入使用有一段时间，后来由于业务需要同步数据，此时可以用TiDB工具Dumpling从TiDB导出逻辑全量数据（比如sql格式），然后导入到MySQL，最后启用TiCDC增量实时同步功能。a）已安装TiCDC组件。
从大数据量 MySQL 迁移数据到 TiDB
weixin_42241611的博客
07-02 1014
通常数据量较低时，使用 DM 进行迁移较为简单，可直接完成全量+持续增量迁移工作。但当数据量较大时，DM 较低的数据导入速度 (30~50 GiB/h) 可能令整个迁移周期过长。本文所称“大数据量”通常指 TiB 级别以上。因此，本文档介绍使用 Dumpling 和 TiDB Lightning 进行全量数据迁移，其本地导入 (local backend) 模式导入速度可达每小时 500 GiB。完成全量数据迁移后，再使用 DM 完成增量数据迁移。操作系统：本文档示例使用的是若干新的、纯净版 CentOS
TiDB DM 数据库同步 step by step
TiDB 社区干货传送门
04-14 138
作者：stutiredboy 原文来源： https://tidb.net/blog/220b9532 ...
5分钟搞定 MySQL 到 TiDB 的数据同步
TiDB 社区干货传送门
01-21 260
作者：施文强 原文来源： https://tidb.net/blog/30fd75d6 ...
TIDB - 使用 TICDC 将数据同步至下游 Kafka 中
小毕超博客
12-05 7855
一、TICDC 在上篇文章中，我们介绍了使用TICDC 将数据同步至 Mysql 中，从上个任务就可以看出，TiCDC相比于Tidb binlog 在配制上就简化了很多，而且我们也知道TICDC的性能也是优于 tidb binlog的，今天我们学习下使用TiCDC怎么将数据同步至下游Kafka中，以实现TIDB 到 ES、MongoDB、Redis等 NoSql 数据库的同步。 上篇博客地址： https://blog.csdn.net/qq_43692950/article/details/121731
初识TiDB的增量数据同步工具TiCDC
最新发布
TiDB 社区干货传送门
02-06 478
作者： 数据源的TiDB学习之路 原文来源： https://tidb.net/blog/e933b8b8 ...
tidb数据同步及事务原理
congchp的博客
04-01 2371
本文主要介绍了以下内容： 1. tidb如何进行数据同步； 2. raft分布式一致性算法； 3. tidb分布式事务的实现；
国产数据库|TiDB 之 TiCDC6.0 数据同步体验
JiekeXu的博客
07-28 1318
作者 | JiekeXu来源 |公众号 JiekeXu DBA之路（ID: JiekeXu_IT）如需转载请联系授权 |(个人微信 ID：JiekeXu_DBA)大家好，我是 JiekeXu,很高兴又和大家见面了,今天和大家一起来学习国产数据库|TiDB 之 TiCDC6.0 数据同步体验，欢迎点击上方蓝字关注我，标星或置顶，更多干货第一时间到达！简介：TiCDC 是一...
mysql迁移tidb
06-10
4. 导入数据到 TiDB：使用 TiDB 中的 tidb-importer 工具将转换后的数据导入到 TiDB 集群中。 5. 配置应用程序：修改应用程序的配置文件，将 MySQL 数据库连接地址改为 TiDB 集群的连接地址。 6. 测试应用程序：...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值