【Kafka】 Kafka 相关知识点以及踩坑记录

已于 2022-06-03 18:22:05 修改
阅读量530 收藏
点赞数
分类专栏： 中间件 文章标签： kafka
于 2022-05-20 01:37:30 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_44913138/article/details/124875422
版权
本文记录了Kafka使用中遇到的三个问题：生产者连接错误、发送数据失败和重复消费。针对这些问题，提供了参考资料和解决方案，包括检查Broker可用性、调整Flink与Kafka的参数配置以及设置合适的offset重置策略。
摘要由CSDN通过智能技术生成

文章目录

1、 kafka连接生产者报错Connection to XXX could not be established. Broker may not be available.

参考链接：https://blog.csdn.net/pbrlovejava/article/details/103451302

2、Failed to send data to Kafka

已经运行一段时间的系统，突然因为Flink 写入Kafka 报错，导致job重启。
在这里插入图片描述
(1) 尝试增加request.timeout.ms—偶现问题，增加就只能等复现，所以只能查看日志中是否还有其他信息。我们的问题很容易定位，在日志中可以看到Kafka 服务端不可用的报错说明，所以服务端启动，Job就可以起来了。
以下步骤看有人操作好用，本人并未验证，仅做记录。
(2) flink 关于 zk 引起的重启
(3) 调整acks

最低0.47元/天 解锁文章
Mary～fighting
关注
专栏目录
盘点一下我用kafka两年以来踩过的一些非比寻常的坑
Java圈全能架构师的博客
02-21 860
前言 我的上家公司是做餐饮系统的，每天中午和晚上用餐高峰期，系统的并发量不容小觑。为了保险起见，公司规定各部门都要在吃饭的时间轮流值班，防止出现线上问题时能够及时处理。 我当时在后厨显示系统团队，该系统属于订单的下游业务。用户点完菜下单后，订单系统会通过发kafka消息给我们系统，系统读取消息后，做业务逻辑处理，持久化订单和菜品数据，然后展示到划菜客户端。这样厨师就知道哪个订单要做哪些菜，有些菜做好了，就可以通过该系统出菜。系统自动通知服务员上菜，如果服务员上完菜，修改菜品上菜状态，用户就知道哪些菜..
kafka避坑指南
qq_57221923的博客
03-24 245
2. **磁盘空间问题**：Kafka需要大量的磁盘空间来存储消息，因此需要注意及时清理过期的消息，否则可能会导致磁盘空间不足，进而影响整个Kafka集群的正常运行。3. **网络延迟问题**：Kafka是基于网络通信的，因此网络延迟可能会影响整个集群的性能和可靠性。4. **Java内存问题**：Kafka是使用Java编写的，因此需要注意Java虚拟机的内存管理问题。5. **硬件故障问题**：硬件故障是不可避免的，需要采取相应的备份和恢复策略，以保证数据的可靠性和可用性。
kafka 遇到的坑
chima9545的博客
04-10 459
公司最近在搭建一个kafka服务，根据网上的教程搭建成功之后，客户端死活连不上公司内网的kafka，这里特别记录下解决方式。 最终解决方式：是在server.properties 文件中添加 host.name 及advertised.listeners=PLAINTEXT:// 设置上IP ...
20条关于Kafka集群应对高吞吐量的避坑指南
统木木的博客
05-03 845
Apache Kafka是一款流行的分布式数据流平台，它已经广泛地被诸如New Relic（数据智能平台）、Uber、Square（移动支付公司）等大型公司用来构建可扩展的、高吞吐量的、高可靠的实时数据流系统。 例如，在New Relic的生产环境中，Kafka群集每秒能够处理超过1500万条消息，而且其数据聚合率接近1Tbps。可见，Kafka大幅简化了对于数据流的处理，因此它也获得了众多应用...
Kafka一些非比寻常的坑
xsxy0506的博客
03-02 604
前言 我的上家公司是做餐饮系统的，每天中午和晚上用餐高峰期，系统的并发量不容小觑。为了保险起见，公司规定各部门都要在吃饭的时间轮流值班，防止出现线上问题时能够及时处理。 我当时在后厨显示系统团队，该系统属于订单的下游业务。 用户点完菜下单后，订单系统会通过发 Kafka 消息给我们系统； 系统读取消息后，做业务逻辑处理，持久化订单和菜品数据，然后展示到划菜客户端； 这样厨师就知道哪个订单要做哪些菜，有些菜做好了，就可以通过该系统出菜； 系统自动通知服务员上菜；
kafka基本知识点
weixin_38446891的博客
12-15 1695
由Scala和Java编写,Kafka是一种Kafka是最初由Linkedin公司开发，是一个，它的最大的特性就是可以实时的处理大量数据以满足各种需求场景：比如基于hadoop的批处理系统、低延迟的实时系统、storm/Spark流式处理引擎，web/nginx日志、访问日志，消息服务等等。
Greenplum GPKafka【实践 01】使用GPKafka实现Kafka数据导入Greenplum数据库踩坑问题记录（不断更新ing）
最新发布
2401_84182097的博客
04-21 453
Kafka 是分布式消息订阅系统，有非常好的横向扩展性，可实时存储海量数据，是很常用的流数据处理中间件。物联网设备采集的数据很多时候就是通过 Kafka 进行处理的。当 Kafka 数据要入库分布式数据库 Greenplum 时，我们就需要考虑入库的效率和可靠性了。们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！这里描述的是使用 gpkafka 导入 Kafka 数据的方法。官方组件在使用的过程中也是会有不少问题的，这里做个记录。保存的偏移量，我们可以看到结束。
【踩坑笔记】linux搭建kafka集群，详细到复制命令就能成功
2401_84415415的博客
04-20 613
2、下载zk安装包如果提示wget命令不存在 wget: command not found3、创建三个文件夹server1、server2、server3因为我只有一台服务器，所以只能搭伪集群，所谓伪集群意思就是（真集群步骤也一样，一般来说区别在于伪集群ip相同端口不同，真集群ip不通端口相同）至此，你的zookeeper目录应该长这样分别在三个server目录中创建data、datalog两个文件夹并且将zk安装包分别解压到三个server目录中至此，每个server目录里都应该是这样。
【踩坑笔记】linux搭建kafka集群，详细到复制命令就能成功(1)
asvxc324deas的博客
04-20 688
对于很多Java工程师而言，想要提升技能，往往是自己摸索成长，不成体系的学习效果低效漫长且无助。整理的这些资料希望对Java开发的朋友们有所参考以及少走弯路，本文的重点是你有没有收获与成长，其余的都不重要，希望读者们能谨记这一点。再分享一波我的Java面试真题+视频学习详解+技能进阶书籍《互联网大厂面试真题解析、进阶开发核心学习笔记、全套讲解视频、实战项目源码讲义》点击传送门即可获取！源码讲义、实战项目、讲解视频，并且会持续更新！**如果你觉得这些内容对你有帮助，可以扫码获取！！
【Kafka】Failed to send data to Kafka: Failed to update metadata after 60000 ms
九师兄
07-03 2967
出现这个错误是因为 Flink Kafka Producer 在发送数据时无法更新 Kafka 的元数据。具体来说，由于连接超时，导致无法在60000毫秒内更新元数据。
Failed to allocate memory within the configured max blocking time 60000 ms
热门推荐
翻身咸鱼的博客
08-28 1万+
Failed to allocate memory within the configured max blocking time 60000 ms kafka生产者写入消息的时候出现了这个问题。 网上的一般方法是设置 batch.size = 0，一般都是可以的。具体怎么设置，为什么会出现这个问题，下面我会详细分析。   首先我想了一下，最近代码做过什么变动。 我们用kafka放爬取的...
【Kafka】Flink kafka 报错 Failed to send data to Kafka: Failed to allocate memory within the config
九师兄
09-06 1699
【代码】【Kafka】Flink kafka 报错 Failed to send data to Kafka: Failed to allocate memory within the config。
Kafka常见错误整理（不断更新中）
大数据流动
09-17 2114
1、UnknownTopicOrPartitionException org.apache.kafka.common.errors.UnknownTopicOrPartitionException: This server does not host this topic-partition 报错内容：分区数据不在 原因分析：producer向不存在的topic发送消息，用户可以检查topic...
【kafka】服务器上Kafka启动 Cannot allocate memory
九师兄
05-18 654
1.概述 转载：服务器上Kafka启动报错：error=‘Cannot allocate memory‘ (errno=12) 解决问题思路：大问题拆小问题。从源头（Kafka有无启动成功）开始测试，是在哪一步出了问题。 正面例子：从服务器上部署的项目的log_error.log中发现是Kafka出现了问题->立刻测试Kafka有无启动成功->没有就后台启动转为前台启动，方便查看报错信息->通过报错信息解决问题。 反面例子：直接百度搜索log_error.log中的报错信息来找解决方案，.
【Kafka】Failed to allocate 16384 bytes within the configured max blocking time 60000 ms. Total memory
daohangtaiqian的博客
07-27 713
翻译过来就是：是因为Kafka生产者在分配缓冲区时超出了配置的最大阻塞时间，导致内存耗尽。
Kafka - TimeoutException: Expiring 1 record(s) for art-0:120001 ms has passed since batch creation
小工匠
10-26 1万+
不关闭防火墙，但是建议本机防火墙开放特定端口，可以使用如下命令 （使用root账户）我并没有大改配置，具体的配置可参考。结果都是关闭的 （建议开放特定端口）可以看消费者的控制台程序，输出正常。要解决这个问题，修改如上配置即可。这种情况，肯定要先看网络问题嘛。如下的配置并没有修改。
Apache Kafka架构详解与面试必备知识点
以下是关于Kafka面试题的一些关键知识点： 1. **架构与组件**： - **Producer**：消息生产者负责将数据发布到Kafka主题（Topic），Producer可以选择不同级别的消息确认机制（ACK）以处理数据可靠性。ACK=0表示非...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值