【TiDB专题】基础篇TiDBCDC

安装部署

• 新建TiDB集群包含安装
• 二进制单独安装
• TIUP工具安装
  第一步，编写 scale-out.yaml 文件：

cdc_servers:
  - host: 10.0.1.3
    gc-ttl: 86400
    data_dir: /data/deploy/install/data/cdc-8300

第二步，运行扩容命令

tiup cluster scale-out <cluster-name> scale-out.yaml

第三步，查看集群状态

tiup cluster display <cluster-name>

• 滚动升级
  TiCDC 从 v6.3.0 版本开始支持滚动升级，使用 TiUP 对 TiCDC 集群进行滚动升级，能够保证同步延迟稳定，不发生剧烈波动。
  1、集群中至少有两个正在运行的 TiCDC 实例。
  2、TiUP 版本至少为 v1.11.0。
  即可执行 tiup cluster upgrade 命令对集群进行滚动升级：

tiup cluster upgrade test-cluster ${target-version} --transfer-timeout 600

管理集群状态和数据同步

管理 TiCDC 服务进程 (capture)

• 同步任务状态流转
  
  以上状态流转图中的状态说明如下：

Normal：同步任务正常进行，checkpoint-ts 正常推进。
Stopped：同步任务停止，由于用户手动暂停 (pause) changefeed。处于这个状态的 changefeed 会阻挡 GC 推进。
Error：同步任务报错，由于某些可恢复的错误导致同步无法继续进行，处于这个状态的 changefeed 会不断尝试继续推进，直到状态转为 Normal。处于这个状态的 changefeed 会阻挡 GC 推进。
Finished：同步任务完成，同步任务进度已经达到预设的 TargetTs。处于这个状态的 changefeed 不会阻挡 GC 推进。
Failed：同步任务失败。由于发生了某些不可恢复的错误，导致同步无法继续进行，并且无法恢复。处于这个状态的 changefeed 不会阻挡 GC 推进。
以上状态流转图中的编号说明如下：

① 执行 changefeed pause 命令。
② 执行 changefeed resume 恢复同步任务。
③ changefeed 运行过程中发生可恢复的错误，自动进行恢复。
④ 执行 changefeed resume 恢复同步任务。
⑤ changefeed 运行过程中发生不可恢复的错误。
⑥ changefeed 已经进行到预设的 TargetTs，同步自动停止。
⑦ changefeed 停滞时间超过 gc-ttl 所指定的时长，不可被恢复。
⑧ changefeed 尝试自动恢复过程中发生不可恢复的错误。

• 查询 capture 列表

cdc cli capture list --server=http://10.0.10.25:8300

[
  {
    "id": "806e3a1b-0e31-477f-9dd6-f3f2c570abdd",
    "is-owner": true,
    "address": "127.0.0.1:8300"
  },
  {
    "id": "ea2a4203-56fe-43a6-b442-7b295f458ebc",
    "is-owner": false,
    "address": "127.0.0.1:8301"
  }
]

管理同步任务 (changefeed)

• 创建同步任务

Mysql

cdc cli changefeed create --server=http://10.0.10.25:8300 --sink-uri="mysql://root:123456@127.0.0.1:3306/" --changefeed-id="simple-replication-task" --sort-engine="unified"

Kafka

-使用同步任务配置文件

在这里插入代码片

• 查询同步任务列表

cdc cli changefeed list --server=http://10.0.10.25:8300

[{
    "id": "simple-replication-task",
    "summary": {
      "state": "normal",
      "tso": 417886179132964865,
      "checkpoint": "2020-07-07 16:07:44.881",
      "error": null
    }
}]

• 查询特定同步任务

• 停止同步任务

cdc cli changefeed pause --server=http://10.0.10.25:8300 --changefeed-id simple-replication-task

• 恢复同步任务

cdc cli changefeed resume --server=http://10.0.10.25:8300 --changefeed-id simple-replication-task

• 删除同步任务

cdc cli changefeed remove --server=http://10.0.10.25:8300 --changefeed-id simple-replication-task

• 更新同步任务配置

• 管理同步子任务处理单元 (processor)

链接: TiDB官网