kafka客户端主要配置说明

最新推荐文章于 2024-09-11 00:18:33 发布
最新推荐文章于 2024-09-11 00:18:33 发布
阅读量6.8k 收藏 8
点赞数
分类专栏： kafka 文章标签： kafka
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sinat_40658206/article/details/121677103
版权

文章目录

配置参数说明

生产者配置参数

  • bootstrap.servers或metadata.broker.list：设置kafka broker ip端口，可设置一个或多个，格式为host1:port1,host2:port2

  • retries：生产者发送消息到broker失败后的重试次数，默认值为0

  • retry.backoff.ms：发送消息失败后到重新发送消息的时间间隔，默认值为100 ms

  • buffer.memory：设置RecordAccumulator缓存大小，默认值为32 MB

  • batch.size：数据累积到batch.size大小后才会发送数据，默认值为16 KB

  • linger.ms：数据没有达到batch.size大小但已超过linger.ms时，立即发送消息，默认值为0 ms；提高并发量时可适当增加，如10 ms

  • max.block.ms：最大阻塞时间，RecordAccumulator缓存不足时或者元数据不可用时，发送数据到broker会阻塞或返回异常，此参数的默认值为60000 ms

  • request.timeout.ms：等待请求响应的超时时间，默认值为30000 ms

  • request.required.acks：指定分区中成功写入消息的副本数量

    • 0：发送消息后立即返回成功，不等待broker端响应结果

    • 1：发送消息后broker端分区leader成功写入后就会得到响应

    • -1或all：发送消息后不仅要等待broker端分区leader成功写入，还要等待该分区所有ISR（同步副本集）成功写入，才会得到响应

  • max.request.size：发送消息的最大大小，默认值为1 MB

  • compression.type：指定消息的压缩算法，默认值为none，可以配置为gzip、snappy、lz4、zstd(kafka 2.1.0开始支持，需对应的库文件)。

发送消息流程：
在这里插入图片描述

消费者配置参数

  • bootstrap.servers或metadata.broker.list：设置kafka broker ip端口，可设置一个或多个，格式为host1:port1,host2:port2

  • group.id: 消费者组名称

  • enable.auto.commit：是否自动提交，默认值为true

  • auto.commit.interval.ms：自动提交的时间间隔，默认5000 ms

  • auto.offset.reset：找不到记录的偏移量或记录的偏移量发生越界时，设置此参数确定从何处开始消费

    • earliest：当各分区下存在已提交的 offset 时，从提交的 offset 开始消费；无提交的 offset 时，从头开始消费。
    • latest：当各分区下存在已提交的 offset 时，从提交的 offset 开始消费；无提交的 offset 时，消费该分区下新产生的数据。
    • none：topic 各分区都存在已提交的 offset 时，从 offset 后开始消费；只要有一个分区不存在已提交的offset，则抛出异常。

  • fetch.min.bytes：一次拉取数据请求中数据的最小大小，默认1 B

  • fetch.max.bytes：一次拉取数据请求中数据的最大大小，默认52428800 B，即50 MB

  • fetch.max.wait.ms：一次拉取数据请求中最大等待时间，默认500 ms

  • max.partition.fetch.bytes：一次拉取数据请求中每个分区数据的最大大小，默认1048576 B, 即1 MB

  • max.poll.records：一次拉取数据请求中数据的最大数量，默认500条

  • request.timeout.ms：等待请求响应的超时时间，默认值为30000 ms

  • partition.assignment.strategy：配置分区分配策略，默认策略range；多个消费者订阅一个主题时，建议采用range；多个消费者订阅相同列表主题时，建议采用roundrobin；多个消费者订阅不同的主题列表时，建议采用cooperative-sticky
    tips：消费者的顺序可通过配置client.id参数，如设置"0"、“1”、“2”，消费者排序就是c0、c1、c2

    • range：针对每个主题，对消费者、分区进行排序，按分区数是否整除消费者数进行区分：

      • 当分区数除以消费者没有余数时，按顺序依次分配，如6个分区，3个消费者：c1消费0、1分区，c2消费2、3，c3消费4、5分区
        在这里插入图片描述

      • 当分区数除以消费者有余数时，那么排在前面的消费者会多分配一个分区，如8个分区，3个消费者：c1消费0、1、2分区，c2消费3、4、5，c3消费6、7分区
        在这里插入图片描述

    • roundrobin：将所有主题的分区进行排序，然后按照消费者的排序轮询分配，如果存在消费者未订阅对应主题，即消费者的topic列表不同，在轮询时直接跳过，

      • 消费者topic列表相同，如2个topic（t0、t1）,每个topic 4个分区，三个消费者，所有主题的分区排序为t0-0、t0-1、t0-2、t0-3、t1-0、t1-1、t1-2、t1-3，消费者排序：c1、c2、c3：c1消费t0-0、t0-3、t1-2分区，c2消费t0-1、t1-0、t1-3，c3消费t0-2、t1-1分区
        在这里插入图片描述

      • 消费者topic列表不同，如2个topic（t0、t1）,每个topic 4个分区，三个消费者，所有主题的分区排序为t0-0、t0-1、t0-2、t0-3、t1-0、t1-1、t1-2、t1-3，消费者排序为c1、c2、c3，c1订阅t0，c2订阅t1，c3订阅t0、t1，则分配情况为：c1消费t0-0、t0-2分区，c2消费t1-0、t1-2，c3消费t0-1、t0-3、t1-1、t1-3分区
        在这里插入图片描述

    • cooperative-sticky：执行新的分区分配之前，尽量在上一次分配上做最小改动；目标：

      • 分区的分配尽量的均衡

      • 每一次重分配的结果尽量与上一次分配结果保持一致

        注意：两个目标发生冲突时优先保证第一个目标

        • 消费者topic列表不同，如2个topic（t0、t1）,每个topic 4个分区，三个消费者，所有主题的分区排序为t0-0、t0-1、t0-2、t0-3、t1-0、t1-1、t1-2、t1-3，消费者排序为c1、c2、c3，c1订阅t0，c2订阅t1，c3订阅t0、t1，则分配情况为：c1消费t0-0、t0-2分区，c2消费t1-0、t1-1、t1-2，c3消费t0-1、t0-3、t1-3分区
          在这里插入图片描述
          此时将消费者1关闭，重平衡结果为：c2消费t1-0、t1-1、t1-2、t1-3，c3消费t0-1、t0-2、t0-3、t0-3分区
          在这里插入图片描述

使用场景

生产者

  • 保证消息的高可靠性

    会影响高并发的性能

    配置项：

    ​ request.required.acks：可设置成1，也可设置成 -1或all，保证broker端接收到了消息

    ​ retries：重试次数

    ​ retry.backoff.ms：重试间隔时间

  • 节约网络带宽，提高吞吐量

    会增加CPU的使用率，最好与broker端的压缩格式一致，不然会导致broker CPU负载增加（需转换压缩格式进行存储）

    配置项：

​ compression.type：压缩消息进行发送

  • 增加高并发的性能

    会滞后消息的发送

    配置项：

​ batch.size：可根据实际消息大小及并发量进行配置

​ linger.ms：如10ms，不建议设置太大，越大消息滞后时间越长

消费者

  • 增加高并发的性能

    可能会出现上一条的情况

    配置项：

    ​ enable.auto.commit：设置为true，不用在处理完消息后手动提交

    ​ auto.commit.interval.ms：减少自动提交的间隔，避免消息处理了但偏移量还没提交

  • 消费者加入新的消费者组时，可定义从何处开始消费

    配置项：

    ​ auto.offset.reset：具体参考配置说明

  • 分布式服务含有多个消费者处理不同分区数据时，尽量保证负载均衡

    配置项：

    ​ partition.assignment.strategy：具体参考配置说明

    ​ auto.offset.reset：具体参考配置说明

  • 分布式服务含有多个消费者处理不同分区数据时，尽量保证负载均衡

    配置项：

    ​ partition.assignment.strategy：具体参考配置说明

edycm
关注
专栏目录
Kafka系列---Kafka客户端参数配置最佳实践解析
FeelTouch Labs
07-11 1160
Kafka客户端的配置参数很多，以下提供Producer和Consumer几个常用参数配置。 表1Producer参数 参数 默认值 推荐值 说明 acks 1 高可靠：all 高吞吐：1 收到Server端确认信号个数，表示procuder需要收到多少个这样的确认信号，算消息发送成功。acks参数代表了数据备份的可用性。常用选项： ..
kafka客户端和服务以及环境配置
07-29
kafka客户端和服务以及环境配置，比较详细，跟着做就可以实现卡夫卡发布消息和接收消息，这是一个完整的。net 开发的例子
kafka配置
LiGuanLink的博客
11-19 377
kafka配置生产者配置消费者配置 生产者配置 NAME DESCRIPTION TYPE DEFAULT VALID VALUES IMPORTANCE bootstrap.servers host/port列表，用于初始化建立和Kafka集群的连接。列表格式为host1:port1,host2:port2,…，无需添加所有的集群地址，kafka会根据提供的地址发现其他的地址（你可以多提供几个，以防提供的服务器关闭） list high key.serializer 实现 org.
Kafka客户端核心参数详解
最新发布
qq_45061342的博客
09-11 1367
Kafka提供了两套客户端API，HighLevel API和LowLevel API。 HighLevel API封装了kafka的运行细节，使用起来比较简单，是企业开发过程中最常用的客户端API。 而LowLevel API则需要客户端自己管理Kafka的运行细节，Partition，Offset这些数据都由客户端自行管理。这层API功能更灵活，但是使用起来非常复杂，也更容易出错。只在极少数对性能要求非常极致的场景才会偶尔使用。重点是HighLeve API 。
【金三银四】kafka客户端配置
jixuczy的博客
07-05 343
主要内容 本文是从大型互联网系统的应用角度探讨分布式缓存的。本文站在原理、框架、架构、案例等多个视角对分布式缓存进行了探讨。 互联网系统随着容量需求的陡增，许多看似简单的存储类场景都面临着巨大的容量问题和稳定性风险，而其中大部分问题都可以通过对缓存的合理使用来规避。读者从本文中将会获得应对这些问题的思路，也会对分布式缓存有一个体系化的认识。 本文内容共分为三个部分，16章的内容，全文按照从理论到实现，再到实践的思路撰写。 首先介绍分布式缓存的背景知识，对“分布式”和“缓存”这两个关键词进行了全面阐述，从而为
kafka安装配置
m0_38004228的博客
03-09 191
简介kafka是一个分布式消息队列。具有高性能、持久化、多副本备份、横向扩展能力。生产者往队列里写消息，消费者从队列里取消息进行业务逻辑。一般在架构设计中起到解耦、削峰、异步处理的作用。
Kafka Client客户端操作详解
qq_44027353的博客
08-08 2624
Kafka 客户端详细属性介绍
MAC搭建kafka客户端以及实现生产消费
Mary～fighting的博客
12-06 1852
一、 mac kafka安装简单使用 原文链接：https://blog.csdn.net/weixin_42357472/article/details/105044441 1.采用homebrew的方式 终端执行命令：brew install kafka 2.修改Kafka服务配置文件server.properties 执行命令: vi /usr/local/etc/kafka/server.properties 解除注释:listeners=PLAINTEXT://localhost:9092(如无
Kafka客户端使用
热门推荐
Dustin_CDS的博客
03-04 1万+
Consumer客户端 1 消费者模型 在开始编码之前， 我们先回顾一下一些基本概念。 在Kafka中， 每个topic被分成一组称为Partitions的logs。 Producer向这些logs的末尾写入消息， Consumer则自己按自己的节奏读取log。 Kafka通过在一个Consumer Group中分配Partitions来伸缩topic的消费， Consumer Group...
【Kafka】Kafka配置参数详解
HR的博客
12-30 8508
Kafka配置参数详解Kafka得安装与基本命令Kafka配置参数kafka生产者配置参数kafka消费者配置参数 本篇文章只是做一个转载的作用以方便自己的阅读，文章主要转载于: Kafka核心配置参数与机制一文 版权声明：本文为CSDN博主「张行之」的原创文章，遵循CC 4.0 BY-SA版权协议 Kafka得安装与基本命令 可以点击链接: Kafka的安装与基本命令的使用 Kafka配置参数 broker.id：broker的id，id是唯一的非负整数，集群的broker.id不能重复。
kafka入门笔记与golang客户端
qzcsu的博客
10-24 777
kafka入门笔记与golang客户端(2021年/10月) kafka是一个分布式流处理平台，常常以消息中间件的角色各大平台。与之类似的产品有，Apache ActiveMQ、RabbitMQ、RocketMQ等。而kafka常常被用在大数据相关的一些领域。关于更详细的介绍可以参考中文官网 kafka的一些特色 同一个partition中的消息消费是有序的 尽管现在kafka官方宣布将来的版本不会依赖zookeeper做注册中心，但是在当前最新的2.8版本中，官方教程还是使用的zookeeper，也许在
kafka配置参数详解 - 网络技术
09-22
Kafka配置参数详解 Kafka配置参数详解 Kafka配置参数详解 Kafka配置参数详解 Kafka配置参数详解 Kafka配置参数详解
Kafka 之 AdminClient 配置
流华追梦的专栏
03-06 1725
一般情况下，我们都习惯使用 kafka-topics.sh 脚本来管理主题，但有些时候我们希望将主题管理类的功能集成到公司内部的系统中，打造集管理、监控、运维、告警为一体的生态平台，那么就需要以程序调用 API 的方式去实现。Kafka 社区于 0.11 版本正式推出了 Java 客户端版的 AdminClient，并不断地在后续的版本中对它进行完善。本文主要介绍 KafkaAdminClient 的配置项，以及各配置项的具体含义。
Kafka 客户端 Produce 常用配置
廖金龙的博客
04-13 1306
配置 KafkaProduce 线程安全 配置类 值 作用 demo org.apache.kafka.clients.CommonClientConfigs#BOOTSTRAP_SERVERS_CONFIG bootstrap.servers 配置Kafka 服务器地址信息 localhost:9092，localhost:9092 org.apache.kafka.cl...
Kafka服务端配置
yaoleic的博客
04-19 578
下载解压 kafka 后，在 kafka/config 下有 3 个配置文件与主题的生产、消费相关。 server.properties–服务端配置 producer.properties–生产端配置 consumer.properties–消费端配置 这里主要介绍服务端 server.properties #指定 kafka集群中 broker 的全局编号，每一个 broker 的编号不能重...
kerberos认证Flink的kafka connector和kafka client配置
lisacumt的专栏
08-04 3617
flink-connector-kafka 和 kafka client 在kerberos连接方式
Kafka的安装与配置
weixin_45726578的博客
05-11 1522
由于Kafka是用Scala语言开发的，运行在JVM上，因此在安装Kafka之前需要先安装JDK。
Kafka系列之：连接器客户端配置覆盖策略
zhengzaifeidelushang的博客
06-23 2315
虽然最初的提案允许覆盖源连接器和接收器连接器，但它在允许连接器的不同配置方面仍然受到限制。在较高层面上，该提案旨在引入类似于 Core Kafka 中可用的 CreateTopicPolicy 的可配置策略，用于连接器客户端配置覆盖。更具体地说，我们将引入一个新的工作配置，该配置将允许管理员配置连接器客户端配置覆盖的策略。基于上述上下文，该提案允许管理员围绕可以覆盖的内容定义/实施策略，与“CreateTopicPolicy”非常相似，“CreateTopicPolicy”允许和控制在主题级别指定的配置。
kafka安装配置(超详细，傻瓜式安装)_kafka 安装配置(1)
m0_74932057的博客
04-17 1831
修改bigdata2和bigdata3中的zookeeper下的data中myid的值分别改为3和4。使用kafka-server-start.sh --version查看kafka的版本内容。进入kafka的config中修改server.properties文件。修改zoo_sample.cfg名字改为zoo.cfg。修改名称使环境变量里的和module下的一致。然后在进入zookeeper的conf下。#节点id，不同的节点用不同的数字表示。配置好kafka的环境变量。启动zookeeper。
centos8.2安装kafka客户端
05-27
可以按照以下步骤在 CentOS 8.2 上安装 Kafka 客户端： 1. 首先，确保已经安装了 Java 开发工具包（JDK）。如果没有安装，可以使用以下命令安装 OpenJDK 11： ``` sudo dnf install java-11-openjdk-devel ``` 2. 下载 Kafka 客户端压缩包。可以从 Kafka 官网下载最新版本的客户端压缩包，例如： ``` wget https://downloads.apache.org/kafka/2.6.0/kafka_2.13-2.6.0.tgz ``` 3. 解压 Kafka 客户端压缩包： ``` tar -xzf kafka_2.13-2.6.0.tgz ``` 4. 进入解压后的 Kafka 目录： ``` cd kafka_2.13-2.6.0 ``` 5. 配置 Kafka 客户端。可以在 config 目录下找到 Kafka 客户端的配置文件，例如： ``` cd config cp client.properties client.properties.bak ``` 接着，用文本编辑器打开 client.properties 文件，修改以下配置： ``` bootstrap.servers=<kafka_broker_ip>:<kafka_broker_port> ``` 其中，`<kafka_broker_ip>` 是 Kafka brokers 的 IP 地址，`<kafka_broker_port>` 是 Kafka brokers 的端口号。如果 Kafka brokers 使用了 SSL/TLS 加密，还需要配置 SSL/TLS 相关的参数。 6. 测试 Kafka 客户端是否正常工作。可以使用以下命令测试 Kafka 客户端是否能够连接到 Kafka brokers： ``` bin/kafka-topics.sh --list --bootstrap-server <kafka_broker_ip>:<kafka_broker_port> ``` 如果能够列出 Kafka topics 的列表，则说明 Kafka 客户端已经正确安装并且能够与 Kafka brokers 进行通信。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值