kafka 监听mysql de_kafka监听出现的问题,解决和剖析

最新推荐文章于 2023-03-08 15:35:42 发布
最新推荐文章于 2023-03-08 15:35:42 发布
阅读量302 收藏
点赞数
文章标签： kafka 监听mysql de
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_34218582/article/details/113465207
版权

问题如下：

kafka为什么监听不到数据

kafka为什么会有重复数据发送

kafka数据重复如何解决

为什么kafka会出现俩个消费端都可以消费问题

kafka监听配置文件

一. 解决问题一(kafka监听不到数据)

首先kafka监听不得到数据,检查如下

检查配置文件是否正确(可能会出现改了监听地址,监听Topic,监听的地址的数量问题)

检查接收数据的正确性(比如原生的代码,可能是用byte序列化接收的数据,而你接收使用String。也是配置文件序列化问题,还有与发送者商量问题)

检查kafka版本问题(一般的版本其实是没什么问题的,只有个别版本会出现监听不到问题)

没有加

@Component 犯了最不应该出差错的问题

如果出现监听不到数据的问题,那么就试试更改方法一二,如果不可以在去试试方法三,之前出现这个问题也是查过 一般查到都会说  “低版本的服务器接收不到高版本的生产者发送的消息”,但是净由测试使用 用1.0.5RELEASE 和 2.6.3反复测试,并没有任何的问题。

如果按照版本一致,那么根本就不现实,因为可能不同的项目,springboot版本不一致的话,可能有的springboot版本低,那么你还得要求自己维护项目版本升级?如果出现第四种情况就无话可说了。

二. 解决问题二(kafka为什么会有重复数据发送)

重复数据的发送问题如下

可能在发送者的那里的事务问题。mysql存储事务发生异常导致回滚操作,但是kafka消息却是已经发送到了服务器中。此事肯定会出现重复问题

生产者设置时间问题,生产发送设置的时间内,消息没完成发送,生产者以为消费者挂掉,便重新发送一个,导致重复

offset问题,当项目重启,offset走到某一个位置已扔到kafka服务器中,但是项目被重启.那么offset会是在原本重启的那一个点的地方再

最低0.47元/天 解锁文章
Cyber FISH
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Kafka事务原理剖析
sjzsylkn的专栏
11-23 1226
kafka事务整体流程
kafka 监听mysql de_Kafka强大监控工具Kafka Eagle
weixin_28745525的博客
02-01 234
kafka投入生产使用后，需要借助一些管理(监控)工具。目前这类工具有很多种，具体如下表：监控工具特点备注Kafka Web Console实现brokers、topic列表等监控，展示生产和消费流量图。存在bug，会与生产者、消费者和zookeeper建立大量的连接，导致网络阻塞。Kafka Manager实现broker级常见的jmx监控，可以对consumer消费进度进行监控，可以web对多...
本地local和kafka监听本地文件，进行sparkstreaming实时输出
reedom1991的博客
04-13 791
所用软件版本： spark2.3.0 kafka 1.10 IDEA2019.1(spark-streaming-kafka-0-8-2.11-2.3.0) 先是用spark sql来监听特定目录下的某一个source文件的变化，进行实时分析，用IDEA进行本地lcoal模式进行实时处理，但问题是文件在本地，没在HDFS上面，将程序运行在spark集群上，出现找不到文件的错误，...
spring集成kafka并对消息进行监听
qq_44960057的博客
03-08 1970
producers可以一步的并行向kafka发送消息，但是通常producer在发送完消息之后会得到一个响应，返回的是offset值或者发送过程中遇到的错误。在代码中如果需要同步发送，可以在每次发送之后使用get方法，因为producer.send方法返回一个Future类型的结果，Future的get方法会一直阻塞直到该线程的任务得到返回值，也就是broker返回发送成功。在zookeeper.properties中配置zookeeper所需配置。需要依赖zookeeper，需提前启动。
Flink整合kafka实现Flume监控指定文件改动
bababuzaijia的博客
08-24 956
Flink整合kafka实现Flume监控指定文件改动
深入理解 spring-kafka 监听器创建与运行以及消息处理流程
z69183787的专栏
10-27 8801
1. 前言 好久没有写博客了，正好最近在工作的时候，使用 spring-kafka 消费消息时候遇到一个关于批量消息处理的问题，通过阅读 spring-kafka 源码，才理解产生问题的原因，以及解决方法。 2. 背景 最近在开发一个需求中，有一个场景是需要接受第三方公司数据回调，我们系统需要提供一个接口接受和处理数据。这个接口处理的业务逻辑比较复杂，耗时比较长，为了不让调用方等待接口调用过长时间，考虑采用将数据发送到 kafka，然后异步监听消费这个数据。这样接口只负责将数据发送到kafka，然后就
Canal 监听 Mysql 自动写入 Kafka 并消费 配置 Windows 版
03-18
本配置教程将详细介绍如何在Windows环境下，利用Canal监听MySQL数据库的变更事件，并自动将其写入Kafka消息队列，然后进行消费。这一过程涉及的主要技术组件包括Canal、MySQL、Kafka以及可能用到的Zookeeper。 首先...
详解监听MySQL的binlog日志工具分析：Canal
12-14
Canal通过模拟MySQL slave的角色，与MySQL master进行交互，监听binlog事件，从而获取数据变更信息。 MySQL的Master-Slave同步原理如下： 1. MySQL master开启binlog机制，将所有数据变更写入二进制日志(binary log...
基于kafka的web日志收集项目
最新发布
09-11
在本项目中，我们构建了一个基于Kafka的Web日志收集系统，旨在模拟企业环境中日志的收集、存储、消费和分析过程。涉及的关键技术包括Nginx、Keepalived、Filebeat、Kafka、Zookeeper、MySQL和CentOS。下面将详细介绍...
mysql+canal+kafka配置和python指南 (1).rar
12-07
2. **Canal**：Canal的主要功能是监听MySQL的binlog（二进制日志），并将其中的DML（数据操纵语言）事件转化为结构化的消息，如INSERT、UPDATE和DELETE操作。这样，当数据库发生变化时，Canal可以实时地将这些变化...
netty+kafka+storm
11-14
总的来说，Netty、Kafka和Storm的整合为实时数据处理和存储提供了一套强大的解决方案。这种架构在大数据分析、实时监控等领域有广泛的应用前景。通过合理的设计和配置，可以实现从数据采集、处理到存储的全链条自动...
【hbz分享】Canal整合Kakfa从0搭建到监听多个mysql server，跟着一步步走，就能搭建Canal
a645293829的博客
01-04 1928
Canal搭建
Kafka中@KafkaListener不自动监听消费数据了
weixin_43847058的博客
08-14 8128
Kafka中不自动消费的问题解决方案 查看源码 如果项目中有多个不同的topic需要消费，那么一定要注意@KafkaListener中id的配置，源码中如下 /** * The unique identifier of the container managing for this endpoint.（管理此端点的容器的唯一标识符 ） * <p>If none is specified an auto-generated one is provided. * @return the
spring boot+kafka+canal实现监听MySQL数据库
qq_41307221的博客
04-26 3944
spring boot+kafka+canal实现监听MySQL数据库 一、zookeeper安装 kafka依赖于zookeeper，安装kafka前先安装zookeeper 下载地址：Apache ZooKeeper 本次示例使用的是 3.5.9版本，下载后将压缩文件上传至linux环境并且解压 解压后bin目录下有zoo_sample.cfg文件，zookeeper使用的配置文件是zoo.cfg，所以复制一份zoo_sample.cfg重命名为zoo.cfg。配置里面有端口等.
从数据库中获取需要监听的Kafka topic
weixin_49456013的博客
03-09 2089
背景：Kafka监听数据库中配置topic数据，并将数据转换后进行kafka数据转发 1.application.yml test: kafka: bootstrapServers: 192.168.11.1:9092,192.168.11.2:9092 consumer: group.id: group-id auto.offset.reset: latest enable.auto.commit: true producer:
Canal+kafka实战（监听mysql binlog实现数据同步）
Emmien的博客
07-22 4395
Canal+kafka实战（监听mysql binlog实现数据同步）
kafka监控mysql_Kafka监控-Kafka Eagle
weixin_39640085的博客
02-26 267
一、Kafka Eagle1.1、Eagle安装1)修改 kafka 启动命令修改 kafka-server-start.sh 命令：注意：修改之后在启动 Kafka 之前要分发之其他节点2)上传压缩包 kafka-eagle-bin-1.3.7.tar.gz 到集群并解压3)给启动文件执行权限4)修改环境变量5)修改配置文件system-config.properties############...
基于Canal+kafka监听数据库变化的最佳实践
static_coder的博客
12-22 2964
工作中，我们很多时候需要根据某些状态的变化更新另一个业务的逻辑，比如订单的生成，成交等，需要更新或者通知其他的业务。我们通常的操作通过业务埋点、接口的调用或者中间件完成。但是状态变化的入口比较多的时候，就很容易漏掉某些地方。代码维护起来也比较麻烦。今天介绍阿里出品的【canal】中间件完成数据库字段的监听。
spring集成kafka消费者监听_SpringBoot开发案例之整合Kafka实现消息队列
05-27
好的，我可以回答你关于Spring集成Kafka消费者监听的问题。在Spring集成Kafka消费者监听的过程中，我们可以使用Spring Kafka提供的注解@KafkaListener来实现消息的订阅和消费。 下面是一个简单的示例： 首先，我们需要在pom.xml文件中添加以下依赖： ``` <dependency> <groupId>org.springframework.kafka</groupId> <artifactId>spring-kafka</artifactId> <version>2.5.5.RELEASE</version> </dependency> ``` 接着，在Spring Boot应用程序中创建一个KafkaListenerConfig类，用于配置Kafka消费者： ``` @Configuration @EnableKafka public class KafkaListenerConfig { @Value("${spring.kafka.bootstrap-servers}") private String bootstrapServers; @Bean public Map<String, Object> consumerConfigs() { Map<String, Object> props = new HashMap<>(); props.put(ConsumerConfig.BOOTSTRAP_SERVERS_CONFIG, bootstrapServers); props.put(ConsumerConfig.KEY_DESERIALIZER_CLASS_CONFIG, StringDeserializer.class); props.put(ConsumerConfig.VALUE_DESERIALIZER_CLASS_CONFIG, StringDeserializer.class); props.put(ConsumerConfig.GROUP_ID_CONFIG, "test-group"); return props; } @Bean public ConsumerFactory<String, String> consumerFactory() { return new DefaultKafkaConsumerFactory<>(consumerConfigs()); } @Bean public ConcurrentKafkaListenerContainerFactory<String, String> kafkaListenerContainerFactory() { ConcurrentKafkaListenerContainerFactory<String, String> factory = new ConcurrentKafkaListenerContainerFactory<>(); factory.setConsumerFactory(consumerFactory()); return factory; } } ``` 在上面的代码中，我们使用@EnableKafka注解启用Kafka监听器，并通过@Bean注解创建了一个Kafka消费者工厂和一个Kafka监听器容器工厂。 接下来，我们可以在Spring Boot应用程序中创建一个Kafka消息监听器类： ``` @Component public class KafkaMessageListener { @KafkaListener(topics = "test-topic", groupId = "test-group") public void listen(String message) { System.out.println("Received message: " + message); } } ``` 在上面的代码中，@KafkaListener注解指定了要订阅的Kafka主题和消费者组ID。在监听方法中，我们可以处理收到的消息。 最后，我们需要在application.properties文件中配置Kafka的连接信息： ``` spring.kafka.bootstrap-servers=localhost:9092 ``` 这样，我们就完成了Spring集成Kafka消费者监听的配置。当应用程序运行时，它将自动订阅指定的Kafka主题并处理收到的消息。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值