Flink CDC 系列文章:
《Flink CDC 系列(1)—— 什么是 Flink CDC》
《Flink CDC 系列(2)—— Flink CDC 源码编译》
《Flink CDC 系列(3)—— Flink CDC MySQL Connector 与 Flink SQL 的结合使用案例Demo》
《Flink CDC 系列(4)—— Flink CDC MySQL Connector 常用参数表》
《Flink CDC 系列(5)—— Flink CDC MySQL Connector 启动模式》
《Flink CDC 系列(6)—— Flink CDC MySQL Connector 工作机制之 Incremental Snapshot Reading》
《Flink CDC 系列(7)—— 从 MySQL 到 ElasticSearch》
Flink CDC MySQL Connector 参数
参数名 | 是否必填 | 默认值 | 类型 | 参数描述 |
---|---|---|---|---|
connector | 是 | 无 | String | 指定connector,这里填 mysql-cdc |
hostname | 是 | 无 | String | MySql server 的主机名或者 IP 地址 |
username | 是 | 无 | String | 连接 MySQL 数据库的用户名 |
password | 是 | 无 | String | 连接 MySQL 数据库的密码 |
database-name | 是 | 无 | String | 需要监控的数据库名,支持正则表达式 |
table-name | 是 | 无 | String | 需要监控的表名,支持正则表达式 |
port | 否 | 3306 | Integer | MySQL 服务的端口号 |
server-id | 否 | 无 | Integer | 当开启scan.incremental.snapshot.enabled时,建议指定server-id;server-id 可以是单个值,如5400; 也可以提供数值范围,如5400-5408 |
scan.incremental.snapshot.enabled | 否 | true | Boolean | 增量快照是读取表快照的新机制;和旧的快照读相比有以下优点:1. 并行读取 2. 支持checkpoint 3. 不需要锁表;当需要并行读取时,server-id需要设置数值范围,如5400-5408 |
scan.incremental.snapshot.chunk.size | 否 | 8096 | Integer | 表快照的块大小 |
scan.snapshot.fetch.size | 否 | 1024 | Integer | 每次读表接受的最大值 |
scan.startup.mode | 否 | initial | String | MySQL CDC 启动模式,有效值:initial 和 latest-offset |
connect.timeout | 否 | 30s | Duration | connector 连接 MySQL 服务的最长等待超时时间 |
connect.max-retries | 否 | 3 | Integer | connector 创建 MySQL 连接的重试次数 |
connection.pool.size | 否 | 20 | Integer | 连接池的大小 |