通过kafka connector实现mysql数据自动同步es

已于 2023-07-05 10:56:52 修改
阅读量1.1k 收藏 2
点赞数
分类专栏： 工作中遇到的场景 文章标签： elasticsearch kafka
于 2023-03-08 16:34:43 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sanko33/article/details/129402515
版权

整体思路：

1、使用 io.debezium.connector.mysql.MySqlConnector 自动同步数据到kafka消息队列

2、通过listener监听消息队列，代码控制数据插入es

ps：其实有更简单的方式：在此基础上使用ElasticsearchSinkConnector、ksql，完成数据的转换与自动同步es，全程无需代码控制，后续本地跑通流程后再来记录

一、连接器的下载与配置

下载debezium mysql connector

在kafka中建立connect文件夹，并解压连接器

在kafka/config下的connect-distributed.properties文件中，修改plugin.path=连接器地址

启动连接器：

bin/connect-distributed.sh -daemon config/connect-distributed.properties

postman查询连接器是否配置成功

http://localhost:8083/connector-plugins
最低0.47元/天 解锁文章
肥宅快乐翔
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Kafka Connect详解及应用实践
BXA
07-17 3878
Kafka Connect是一个用于数据导入和导出的工具。它能够把多种数据源（如MySQL，HDFS等）与Kafka之间进行连接，实现数据在不同系统之间的交互以及数据的流动。扩展性：Kafka Connect支持自定义Connector，用户可以通过编写自己的Connector来实现与更多数据源进行连接。可靠性：Kafka Connect通过使用Kafka本身提供的数据复制机制，保证了数据的可靠性。
探究 | kafka-connector 同步 Elasticsearch速度慢根因分析？
铭毅天下Elasticsearch
07-15 3093
1、kafka同步Elasticsearch的方式 之前博文中也有介绍： 方式一：logstash_input_kafka 方式二：kafka_connector 方式三：spark stream 方式四：java程序读写自己实现 2、kafka-connector同步kafka到ES 场景一：kafka实时数据流直接通过kafka-connector同步到ES。 场景二：k...
Kafka数据同步
最新发布
码农郭大大的博客
05-29 719
由于0.11版本之前Kafka的副本备份机依赖HW存数据不一致问题和丢失数据问题，因此在0.11版本引入了 Leader Epoch同步机制解决这个问题。其中Leader负责对应分区的读写、Follower负责同步分区的数据，0.11 版本之前Kafka使用highwatermarker（高水位）机制保证数据的同步，但是基于高水位的同步数据可能会导致数据的丢失，不一致以及乱序。Lead Epoch 如何解决HW的数据不一致与数据丢失。要了解kafka数据同步机制，首先要了解如下概念。
kafka—mysql同步到elasticsearch
堂哥码财的博客
10-23 1391
一、官网 https://www.confluent.io 本文，下载的非最新版本，原因本版本有bin\confluent启动脚本，可以将confluent的相关服务一并启动，而新版5.3.1下则没有bin\confluent启动脚本。 http://packages.confluent.io/archive/5.0/confluent-5.0.0-2.11.tar.gz 历史版本清单： ht...
Spring使用Kafka Connect + Debezium 同步数据Mysql数据
wybaby168的博客
02-02 892
本文解决了使用Kafka Connect连接Mysql实现数据变动订阅的能力。 方案：Kafka Connect + Debezium Mysql Connector 实现：Spring Kafka + OOP
Kafka Connect 核心API—— mysql 数据同步
weixin_43564627的博客
07-08 3670
Kafka Connect 核心API—— mysql 数据同步 kafka connect简介 它是开源 Apache Kafka 的一个组件。Kafka Connect 是一个框架，用于将 Kafka 与外部系统（例如数据库、键值存储、搜索索引和文件系统）可扩展且可靠地连接起来。 1、什么是kafka connect？ Kafka Connect是一种用于在Kafka和其他系统之间可扩展的、可靠的流式传输数据的工具。它使得能够快速定义将大量数据集合移入和移出Kafka的连接器变得简单。 Kafka Co
canal实现mysql到ES数据实时同步
07-11
MySQL到Elasticsearch（ES）的数据实时同步是大数据领域中常见的需求，用于实现实时数据分析和检索。Canal是一款由阿里巴巴开源的数据库增量日志抽取工具，它能够监听MySQL的数据变更，然后将这些变更实时地同步到...
一款开源的数据同步中间件提供MySQL、Oracle、SqlServer、Postgre，File,kafka,SQL等同步场景
04-18
DBSyncer（简称dbs）是一款开源的数据同步中间件，提供MySQL、Oracle、SqlServer、PostgreSQL、Elasticsearch(ES)、Kafka、File、SQL等同步场景。支持上传插件自定义同步转换业务，提供监控全量和增量数据统计图、...
canal安装包免费下载.mysql同步ES工具
03-18
Canal以 MySQL binlog 为基础，通过解析 binlog 实现了对 MySQL 数据库的增量数据抓取，并支持多种目标端同步，如 Elasticsearch、HBase、Kafka 等。 2. **MySQL**： MySQL是一种广泛使用的开源关系型数据库管理...
基于Java的DBSyncer开源数据同步中间件设计源码
04-17
DBSyncer是一款提供多种数据源同步的中间件，支持MySQL、Oracle、SqlServer、PostgreSQL、Elasticsearch(ES)、Kafka、File、SQL等同步场景，并支持上传插件自定义同步转换业务。此外，DBSyncer还提供监控全量和增量...
Confluent之Kafka Connector初体验.doc
07-09
通过 Kafka Connect，用户可以轻松地将数据从关系型数据库（如 MySQL、PostgreSQL）导入到 Kafka，或者将 Kafka 中的数据导出到数据仓库（如 Hadoop 或 Elasticsearch）。这样，企业可以构建起实时的数据流水线，...
Oracle 数据怎么实时同步到 DM DB 达梦数据库 | 亲测干货建议收藏
java李阳勇的博客
09-02 4051
摘要 很多 DBA 同学经常会遇到要从一个数据库实时同步到另一个数据库的问题，同构数据还相对容易，遇上异构数据、表多、数据量大等情况就难以同步。我自己亲测了一种方式，可以很方便地完成 Oracle 数据实时同步到 DM DB 达梦数据库，跟大家分享一下，希望对你有帮助。 Oracle 数据实时同步到 DM DB 达梦数据库 ，目前支持的工具还比较少，一款免费的数据同步工具 Tapdata Cloud是我发现的第一个支持国产数据库的。跟前面分享到的其他数据库同步的操作方式类似、用起来感觉还不错、话不多..
Kafka connect 源码分析之 ConnectDistributed
woshiyizhiyu0的博客
10-18 1280
Kafka connect 源码分析之 ConnectDistributed
MySQL 到 Kafka 实时数据同步实操分享，字节跳动内部学习资料泄露
2401_83621603的博客
03-23 1204
1.点击 Tapdata Cloud 操作后台左侧菜单栏的【连接管理】，然后点击右侧区域【连接列表】右上角的【创建连接】按钮，打开连接类型选择页面，然后选择MySQL。1.同第一步操作，点击左侧菜单栏的【连接管理】，然后点击右侧区域【连接列表】右上角的【创建连接】按钮，打开连接类型选择页面，然后选择 Kafka。Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。2.在打开的连接信息配置页面依次输入需要的配置信息。
kafka到MySQL_kafka-jdbc-connector-sink实现kafka中的数据同步到mysql
weixin_34620658的博客
01-20 2596
这是一篇关于通过mysql主从复制的方式进行数据同步的教程： https://zixuephp.net/article-438.html接下来笔者要描述的是mysql的数据通过kafka，然后在实时进入其他mysql数据库的方案有同学可能会问到为什么这么麻烦，而不直接使用主从复制的方案来解决mysql的数据同步呢？原因是通过kafka connector可以做简单的数据过滤。由于kakfa con...
Flink读取Kafka数据批量写入ES(elasticsearch)
泛音青年的博客
07-10 6097
Flink实时消费kafka数据，数据经过处理，富化、清洗等操作，写入ES。在流式计算中，此场景十分常见。 本文采用ES的批量操作BulkProcessor方式，此方式使用的是TransportClient，基于Tcp协议;而rest方式采用的是restClient，基于http协议，并不能保证结果的准确性。 参考 一、依赖准备： 主要依赖： <dependency> <groupId>org.elasticsearch</groupId> <art
【实战】Kafka Connector用debezium读取mysql的Binlog实时同步Kafka映射成FlinkSql表
遇事不决问春风
05-27 1710
目的：实时同步mysql的数据，之前是通过flink-cdc实现，但是flink-cdc需要编写代码，维护起来相对来说较为麻烦。现在直接采用kafkaconnect来进行，操作简单便于维护 一、前期准备 软件版本 mysql 5.7.30 kafka 2.2.1-cdh6.3.2 Flink 12.2.2 Debezium连接器 debezium 1.5.0 相关介绍 Debezium是一个开源项目，为捕获数据更改(change data capture,CDC)提供了一个低延迟的流式处理平台。你可以安
debezium-mysql 源码集成kafka-connector启动
大蚊子
03-11 428
kafka安装： docker 安装 kafka单节点_docker kafka 单节点_大大蚊子的博客-CSDN博客mysql安装: docker 安装mysql 8.x_大大蚊子的博客-CSDN博客debezium代码国内：https://kgithub.com/debezium/debezium debezium: https://debezium.io/debezium-mysql使用：kafka-connect: https://kafka.apache.org/documentation/#
kafka连接mysql数据库,Kafka-connect-jdbc-source连接mysql数据库实战
weixin_42498347的博客
03-16 1948
Kafka-connect-jdbc-source连接mysql数据库实战1、创建mysql数据库为避免使用kafka连接数据库时意外修改或删除数据，建议单独创建一个只读用户(kafka)，仅用于读取数据；使用root操作，进行如下操作-- 创建数据库create database test;-- 创建只读用户create user 'kafka'@'127.0.0.1' identified b...
springboot整合easy-es和canbal、kafka实现mysql数据同步
05-23
然后创建一个Kafka消费者，将数据从Kafka读取出来，再通过Easy Elasticsearch将数据同步到Elasticsearch。 ``` @Component public class KafkaConsumer { @Autowired private ElasticsearchTemplate ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值