安装部署
- 新建TiDB集群包含安装
- 二进制单独安装
- TIUP工具安装
第一步,编写 scale-out.yaml 文件:
cdc_servers:
- host: 10.0.1.3
gc-ttl: 86400
data_dir: /data/deploy/install/data/cdc-8300
第二步,运行扩容命令
tiup cluster scale-out <cluster-name> scale-out.yaml
第三步,查看集群状态
tiup cluster display <cluster-name>
- 滚动升级
TiCDC 从 v6.3.0 版本开始支持滚动升级,使用 TiUP 对 TiCDC 集群进行滚动升级,能够保证同步延迟稳定,不发生剧烈波动。
1、集群中至少有两个正在运行的 TiCDC 实例。
2、TiUP 版本至少为 v1.11.0。
即可执行 tiup cluster upgrade 命令对集群进行滚动升级:
tiup cluster upgrade test-cluster ${target-version} --transfer-timeout 600
管理集群状态和数据同步
管理 TiCDC 服务进程 (capture)
- 同步任务状态流转
以上状态流转图中的状态说明如下:
Normal:同步任务正常进行,checkpoint-ts 正常推进。
Stopped:同步任务停止,由于用户手动暂停 (pause) changefeed。处于这个状态的 changefeed 会阻挡 GC 推进。
Error:同步任务报错,由于某些可恢复的错误导致同步无法继续进行,处于这个状态的 changefeed 会不断尝试继续推进,直到状态转为 Normal。处于这个状态的 changefeed 会阻挡 GC 推进。
Finished:同步任务完成,同步任务进度已经达到预设的 TargetTs。处于这个状态的 changefeed 不会阻挡 GC 推进。
Failed:同步任务失败。由于发生了某些不可恢复的错误,导致同步无法继续进行,并且无法恢复。处于这个状态的 changefeed 不会阻挡 GC 推进。
以上状态流转图中的编号说明如下:
① 执行 changefeed pause 命令。
② 执行 changefeed resume 恢复同步任务。
③ changefeed 运行过程中发生可恢复的错误,自动进行恢复。
④ 执行 changefeed resume 恢复同步任务。
⑤ changefeed 运行过程中发生不可恢复的错误。
⑥ changefeed 已经进行到预设的 TargetTs,同步自动停止。
⑦ changefeed 停滞时间超过 gc-ttl 所指定的时长,不可被恢复。
⑧ changefeed 尝试自动恢复过程中发生不可恢复的错误。
- 查询 capture 列表
cdc cli capture list --server=http://10.0.10.25:8300
[
{
"id": "806e3a1b-0e31-477f-9dd6-f3f2c570abdd",
"is-owner": true,
"address": "127.0.0.1:8300"
},
{
"id": "ea2a4203-56fe-43a6-b442-7b295f458ebc",
"is-owner": false,
"address": "127.0.0.1:8301"
}
]
管理同步任务 (changefeed)
- 创建同步任务
Mysql
cdc cli changefeed create --server=http://10.0.10.25:8300 --sink-uri="mysql://root:123456@127.0.0.1:3306/" --changefeed-id="simple-replication-task" --sort-engine="unified"
Kafka
-使用同步任务配置文件
在这里插入代码片
- 查询同步任务列表
cdc cli changefeed list --server=http://10.0.10.25:8300
[{
"id": "simple-replication-task",
"summary": {
"state": "normal",
"tso": 417886179132964865,
"checkpoint": "2020-07-07 16:07:44.881",
"error": null
}
}]
-
查询特定同步任务
-
停止同步任务
cdc cli changefeed pause --server=http://10.0.10.25:8300 --changefeed-id simple-replication-task
- 恢复同步任务
cdc cli changefeed resume --server=http://10.0.10.25:8300 --changefeed-id simple-replication-task
- 删除同步任务
cdc cli changefeed remove --server=http://10.0.10.25:8300 --changefeed-id simple-replication-task
-
更新同步任务配置
-
管理同步子任务处理单元 (processor)
链接: TiDB官网