TiDB-TiCDC的使用方法

命令：

1.cdc cli

2.tiup ctl cdc

1.查看capture状态(如果没下载会自动下载)

tiup ctl:v6.1.0 cdc capture list --pd=http://192.168.210.38:2379

2.创建同步任务

格式

cdc cli changefeed create

--pd=http://192.168.210.38:2379

--sink-url="mysql://root:123456@127.0.0.1:3306/"

--changefeed-id="replication-task-1"

--soft-engine="unified"

eg、

cd /tidb-deploy/cdc-8300/bin

./cdc cli changefeed create --pd=http://192.168.210.38:2379 --sink-url="mysql://root:123456@127.0.0.1:3306/" --changefeed-id="replication-task-1" --soft-engine="unified"

查看

./cdc cli changefeed list --pd=http://192.168.210.38:2379

 

 

tips：

--sink-url  下游的用户、密码、ip、端口号

--changefeed-id 这个任务叫啥(非必选项，不写会自动指定一个)

--soft-engine  capture进程读取changelog，并且本地排序，排序过程在内存、本地、先内存，不够了在本地，分别对应memory/file/unified

状态

• Normal：正常。同步任务正常进行，checkpoint-ts 正常推进。

来自 <TiCDC 运维操作及任务管理 | PingCAP 文档中心>

• Normal：（正常）。同步任务正常进行，checkpoint-ts 正常推进。
• Stopped：（暂停）。同步任务停止，由于用户手动暂停 (pause) changefeed。处于这个状态的 changefeed 会阻挡 GC 推进。
• Error：（报错）。同步任务报错，由于某些可恢复的错误导致同步无法继续进行，处于这个状态的 changefeed 会不断尝试继续推进，直到状态转为 Normal。处于这个状态的 changefeed 会阻挡 GC 推进。
• Finished：（完成）。同步任务完成，同步任务进度已经达到预设的 TargetTs。处于这个状态的 changefeed 不会阻挡 GC 推进。
• Failed：（失败）。同步任务失败。由于发生了某些不可恢复的错误，导致同步无法继续进行，并且无法恢复。处于这个状态的 changefeed 不会阻挡 GC 推进。

① 正常——暂停 changefeed pause

② 暂停——正常 changefeed resume

③ 正常——报错

④ 报错——正常 执行changefeed resume恢复，并且也会自己一直尝试推进，直至normal

⑤ 正常——失败 过程发生不可恢复的错误

⑥ 正常——完成 达到预设的tso，同步自动停止

⑦ 暂停——失败 停滞时间超过gc-ttl设置的时长，从暂停（stopped）转为failed，不可恢复

⑧ 报错——失败 自动恢复过程中发生不可恢复的错误。

堵塞gc推进：stopped、error

不影响gc：normal、finished、failed

停滞同步任务

cdc cli changefeed pause --pd=http://192.168.210.38:2379 --changefeed-id replication-task-1

恢复同步任务

cdc cli changefeed resume --pd=http://192.168.210.38:2379 --changefeed-id replication-task-1

删除同步任务

cdc cli changefeed remove --pd=http://192.168.210.38:2379 --changefeed-id replication-task-1

查询状态

cdc cli changefeed query --pd=http://192.168.210.38:2379 --changefeed-id replication-task-1

resolved-ts:当前从tidb发送过去的tso

checkpoint-ts:当前下游已经写入的tso

admin-job-type：0（正常），1（任务暂停），2（任务恢复），3（任务删除）

两者差值越大，说明cdc复制压力越大。

查询所有的任务

./cdc cli changefeed list --pd=http://192.168.210.38:2379

查询指定的同步任务

cdc cli changefeed query -s --pd=http://192.168.210.38:2379 --changefeed-id replication-task-1

3.外部存储

设置后，会把changelog先写到amazon S3/NFS的redolog

上下游延迟较大的情况，上游宕机，会从外部存储的redo log导入下游

ticdc的配置

eventsistent会缓存redolog，1000ms刷一次，不管下游有没有应用

下游

确认cdc任务完成了，然后用cdc redo命令导入redo

ticdc的监控

Grafana