汪灵骅的博客

TiDB-Binlog的使用及缩容

先自己br同步，然后指定tso进行应用。

-soft-engine capture进程读取changelog，并且本地排序，排序过程在内存、本地、先内存，不够了在本地，分别对应memory/file/unified。④ 报错——正常 执行changefeed resume恢复，并且也会自己一直尝试推进，直至normal。⑦ 暂停——失败 停滞时间超过gc-ttl设置的时长，从暂停（stopped）转为failed，不可恢复。⑧ 报错——失败 自动恢复过程中发生不可恢复的错误。⑥ 正常——完成 达到预设的tso，同步自动停止。

每个tikv都会有changelog，ticdc的capture组件会读取changelog，并且在本地排序，排序完后，这个ticdc会把changelog传送给owner的ticdc，由。------索引汇总不存在虚拟生成列（virtual generated columns）2.只能同步最少存在一个有效索引的表(简单来说，就是要有。3.不支持单独使用rawkv的tikv，必须是整个数据库。------索引每一列在表结构中明确定义非空。mysql、tidb、卡夫卡、。-满足下列条件的唯一索引为有效索引。

tiup dm display dm-testtiup dm scale-in dm-test -N 172.31.0.175:8262编辑扩容配置文件，加入一个worker节点vi dm-scale.yamlworker_servers: - host: 172.31.0.175使用扩容配置文件进行扩容tiup dm scale-out dm-test dm-scale.yaml -uroot -p再次查看状态tiup dm display dm-test 成功停止tiup dmctl --master

filter-rules: ["store-filter-rule", "sale-filter-rule"] # 应用于该数据源的 binlog event filter 规则。block-allow-list: "log-bak-ignored" # 应用于该数据源的 Block & Allow Lists 规则。extra-args: "--consistency none" # dump 处理单元的其他参数，不需要在 extra-args。

Dm worker对上游数据源是一对一的，其中一个dm worker出问题，free的会顶上去。Dm master做管理，调度。如果有10个分片，那起码要11个worker。1.兼容mysql迁移同步数据，全量+增量。worker数据量要大于源实例。Tidb5.4后支持gbk字符集。3.源端、目标端异构表同步。2.分表分库合并同步。大于等于10.1.2。

schema-pattern = "test" # 匹配数据源的库名，支持通配符 "*" 和 "?table-pattern = "table-[1-2]" # 匹配数据源的表名，支持通配符 "*" 和 "?table-pattern = "table-3" # 匹配数据源的表名，支持通配符 "*" 和 "?table-pattern = "table-*" # 匹配数据源的表名，支持通配符 "*" 和 "?# 如果开启，若表存在不一致，则输出用于修复的 SQL 语句。

-ratelimit 128M/s 每个 TiKV 执行恢复任务的速度上限（单位 MiB/s）确认前一份的lastbackupts，位置也是前一份的位置（全备or增量）--storage s3是亚马逊外部存储，也可以本地存储。必须先有个全备，和上面一的备份一样。增量放的位置不要和之前的备份放一起。

a为BR备份源端，b为BR恢复目标端（ticdc的源端），c为ticdc的备库。聚簇索引（tidb_enable_clustered_index）版本兼容问题(check-requirements)3.不推荐多个br备份、恢复同时进行。全局临时表(BR v5.3.0)3.tikv到外部存储各取所需。2.不提供业务使用的环境恢复。1.br找pd（元数据）3.备份到本地/外部存储。1.br找pd（元数据）

target-table 目标端表名。table-pattern 原始表名。target-schema 目标端库名。schema-pattern 原始库名。

服务器宕机之类的，可以通过断点续传继续，但是如果数据因不可恢复的错误报错，重启时不会使用断点，会直接报错离开。# 2. 考虑到与旧版本的兼容性，依然可以在本配置项设置 `true` 和 `false` 两个布尔值，其效果与 `required` 和 `off` 相同。从 v4.0.8 开始，checksum 的默认值由此前的 "true" 改为 "required"。# 若 driver = "mysql"，此参数为数据库连接参数 (DSN)，格式为“用户:密码@tcp(地址:端口)/”。

建议单独配置lightning，因为有多少cpu就跑满多少。混合部署设上这个参数。

读取dump，转成键值对，存在本地临时文件，排序好。连库，跑sql，可追加导入，允许表内有数据。只支持亚马逊的aurora parquet。刚装完，没建库，不跑业务，全力导入，快。速度慢，可追加导入，支持同时业务使用。专门tidb之间的逻辑导入导出。连库导入，就是直接执行sql。不连库，直接向tikv导入。不连库，直接向tikv导入。5.4之前不能导入gbk。检验完，统计信息收集、无法正常对外提供服务。

文件包含起始时间，master binary log的位置 内容：创建schema的sql文件内容创建table 的sql文件内容数据源文件内容建表、建库、metadata 与上面一致，额外有个csv文件

T empoyees.WorkOrder表示导出empoyees库下的WorkOrder表。过滤，eg1. "id < 100" eg2."dept_no='d009'"以上面为例，导出employees库下所有的表，所有库下的workorder表。-B empoyees表示导出empoyees库。写到xxx行，会另起一个文件。文件类型，sql/crs（没写的话默认是sql）写到256M，另起一个文件。

可以把mysql/tidb中的数据导出为sql或者csv格式。

tiup cluster audit根据上面报错的日志，把问题解决掉，然后从出问题的audit-id处重新开始tiup cluster replay 直接跳过驱逐leader，直接关闭（在不停机升级中已记录）tiup cluster upgrade --force升级后，更新pd-ctl等周边工具tiup install ctl:v6.1.0

升级是滚动升级，如果升级到leader tikv时，leader节点会使用不了，默认300秒会把该节点上的所有leader驱逐到其他节点，时间一到，就会强制关tikv节点，而加了--force参数就是leader在那也直接重启。--transfer-timeout为默认时间，单位s。需要先升级到大于4.0版本，然后再升级至6.1。小于3.0 3.1不支持直接升级到6.1。修改老版本支持，新版本不支持的参数。兼容性变更，参数网站里有。

与时区相关，变更会受影响。

输入ytiup cluster display tidb-hahatiup cluster prune tidb-hahaalter table . set tiflash replica 0;Eg.

scale-out-tidb.yaml 配置文件名。tiup cluster scale-out 固定。tidb-haha 集群名。主机加入到集群网络中即可。

查看网址：tiup cluster display tidb-hahaOverview，里面的几个大类（services port status/pd/tidb/tikv/system info）services port statusSystem-info指标PD指标Tidb server指标tikv指标dashboard内置在PD组件中，其他的普罗米修斯、grafana、告警这些都是单独组件

orr_hisgrant'r_hislala'r_his'r_his。

如果是给的角色的权限，需要set role all开启角色权限才能体现。用户、用户来自哪个主机（%代表任意）、密码（加密的）、是否锁定。

集群配置是记录在所有的配置文件中的。少部分tidb server。系统配置是记录在tikv中。Tidb server相关。

tiup cluster display tidb-haha2.1mysql客户端登陆mysql -h127.0.0.1 -P4000 -uroot -p'-C64r^Rpe*Mw5Y93+7'2.2mysql workbench登陆Ctrl+回车执行选择的语句

Eg.(集群名tidb-haha)(如果配了互信机不用输密码了)当前目录下生成topology.yaml（初始化拓扑文件）安装完成，默认密码-C64r^Rpe*Mw5Y93+7。4.启动tidb server。5.启动tiflash。