Kafka-connect-jdbc-source连接mysql数据库实战

最新推荐文章于 2024-04-01 10:30:43 发布

原创

最新推荐文章于 2024-04-01 10:30:43 发布 · 4.7k 阅读

6 ·

CC 4.0 BY-SA版权

文章标签：

#kafka #connect #mysql #实战 #增量采集

本文详细介绍了如何使用Kafka Connect JDBC Source Connector实现MySQL数据库与Kafka消息队列的数据实时同步，包括创建数据库、配置连接器、启动及验证过程。

Kafka-connect-jdbc-source连接mysql数据库实战

1、创建mysql数据库

为避免使用kafka连接数据库时意外修改或删除数据，建议单独创建一个只读用户（kafka），仅用于读取数据；

使用root操作，进行如下操作

-- 创建数据库
create database test;
-- 创建只读用户
create user 'kafka'@'127.0.0.1' identified by '123456';
-- 赋予查询授权
grant select on test.* to 'kafka'@'127.0.0.1';
-- 刷新权限
flush privileges;

-- 创建测试表
CREATE TABLE `sys_config` (
  `cfg_id` int(11) NOT NULL,
  `cfg_name` varchar(20) DEFAULT NULL,
  `cfg_notes` varchar(50) DEFAULT NULL,
  `cfg_value` varchar(20) DEFAULT NULL,
  `modified` datetime NOT NULL DEFAULT CURRENT_TIMESTAMP,