kafka

简述功能

简述：Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者在网站中的所有动作流数据。 这种动作（网页浏览，搜索和其他用户的行动）是在现代网络上的许多社会功能的一个关键因素。 这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。 对于像Hadoop一样的日志数据和离线分析系统，但又要求实时处理的限制，这是一个可行的解决方案。Kafka的目的是通过Hadoop的并行加载机制来统一线上和离线的消息处理，也是为了通过集群来提供实时的消息
功能：Kafka
Kafka 是一种高吞吐量 [2] 的分布式发布订阅消息系统，有如下特性：
通过O(1)的磁盘数据结构提供消息的持久化，这种结构对于即使数以TB的消息存储也能够保持长时间的稳定性能。
高吞吐量：即使是非常普通的硬件Kafka也可以支持每秒数百万 [2] 的消息。
支持通过Kafka服务器和消费机集群来分区消息。
支持Hadoop并行数据加载。
Kafka通过官网发布了最新版本3.3.1

应用场景

配置

常见问题

问题：nested exception is org.apache.kafka.common.errors.RecordTooLargeException:很明显，消息体目前过大。需要提高Kafka服务器能够接收的最大数据大小。
解决方法：提高Kafka服务器单条消息最大大小。配置参数 message.max.bytes
我的方法：生产环境大概每份文件不超过5M，调整服务器broker参数message.max.bytes=510241024
问题：Error sending fetch request (sessionId=INVALID, epoch=INITIAL) to node 101: org.apache.kafka.common.errors.DisconnectException.
异常类：org.apache.kafka.common.errors.DisconnectException
异常类描述：Server disconnected before a request could be completed.
[org.springframework.kafka.KafkaListenerEndpointContainer#0-0-C-1] INFO o.a.k.clients.FetchSessionHandler[442] - [Consumer clientId=consumer-1, groupId=auto-dev] Error sending fetch request (sessionId=INVALID, epoch=INITIAL) to node 101: org.apache.kafka.common.errors.DisconnectException.
问题定位：由于消息读写频率较高，因此kafka服务器的负载达到上限。所以有些消费者实例一直就poll不到数据。达到配置的时间【session.timeout.ms】、【request.timeout.ms】，消费者会被踢出Kafka。因此日志不断打印该错误。(其实另一方面也提示消费时间过长)
解决方法：提高consumer参数【session.timeout.ms】、【request.timeout.ms】的值。
我的方法：在application.yaml中为【session.timeout.ms】、【request.timeout.ms】这两个参数均调整到4分钟，即240000ms。
问题：TimeoutException: Expiring 1 record(s) … has passed since batch creation
问题定位：消息已经投递到kafka，但是kafka来不及处理。提示kafka写性能达到瓶颈。
我的方法：可以从两方面修改。
（1）控制代码发送频率，即控制调用kafkaTemplate.send方法的频率。作为有经验的开发人员，不要问我怎么控制发送频率。代码里加入Thread.sleep就可以不是么
（2）在生产者参数中提高【delivery.timeout.ms】的时间。默认2分钟kafka没有响应则报异常。我们可以增加该时间，单位毫秒。但是有上限，不能超过【request.timeout.ms】与【linger.ms】之和。请阅读下面我贴过来的官方文档。