因数据量过大，超出Kafka默认存储量，导致存入Kafka失败

最新推荐文章于 2024-07-17 22:15:28 发布

星star~

最新推荐文章于 2024-07-17 22:15:28 发布

阅读量190

点赞数 2

文章标签： kafka 分布式

本文链接：https://blog.csdn.net/qq_37384052/article/details/140378547

版权

问题：

1、因数据量过大，超出Kafka默认消息最大（1M），导致存入Kafka失败

解决方法：

1.1 在yml文件中增加以下配置：

  kafka:
    bootstrap-servers: 127.0.0.1
#    listener:
#      ack-mode: manual #手動確認消息
    producer:
      key-serializer: com.fxxx.xxxx
      value-serializer: com.fxxx.xxxx
      properties:
        max.request.size: 104857600  # 100M   2147483647  2048M
        max.message.bytes: 104857600

    consumer:
      group-id: com_kafka_group
      key-deserializer: com.fxxx.xxxx    # 键的反序列化方式
      value-deserializer: ocom.fxxx.xxxx  # 值的反序列化方式
#      enable:
#        auto:
#          commit: false # 禁用自动提交位移

在这里插入图片描述

1.2 在linux的服务器端更改server.properties

在这里插入图片描述

步骤：

1.2.1 打开配置文件

在这里插入图片描述

1.2.2 增加配置信息

在这里插入图片描述

1.2.3 ctrl+O，回车，保存配置，退出界面

1.2.4 重启Kafka

在这里插入图片描述

1.2.5 查看Kafka是否启动

在这里插入图片描述

linux相关命令：

 打开规定路径的配置文件：
 nano /opt/kafka/config/server.properties
 
 关闭Kafka：
 /opt/kafka/bin/kafka-server-stop.sh
 
 重启Kafka：
 /opt/kafka/bin/kafka-server-start.sh -daemon /opt/kafka/config/server.properties
 
 查看Kafka是否启动：
 jps | grep Kafka
 
 message.max.bytes=104857600
 含义: 控制 Kafka 服务器接收的单个消息的最大大小。
 默认值: 104857600 字节（即 100 MB）。
 作用: 该参数限制了 Kafka 服务器允许的单个消息的最大大小。如果消息超过这个大小，Kafka 服务器会拒绝接收和处理该消息，以防止消耗过多的内存资源。

 replica.fetch.max.bytes=104857600
 含义: 控制 Kafka 中复制数据时从 leader 副本获取的最大数据大小。
 默认值: 104857600 字节（即 100 MB）。
 作用: 当 Kafka 的 follower 副本从 leader 副本拉取数据时，该参数限制了每次拉取的数据大小。这有助于控制复制过程中的网络流量和服务器资源使用。