kafka 札记-----kafka producer 端 发送数据分为 同步（实时）和异步（达到设定发送条件）

最新推荐文章于 2024-04-18 08:03:49 发布
最新推荐文章于 2024-04-18 08:03:49 发布
阅读量1.3w 收藏 2
点赞数 1
分类专栏： kafka 文章标签： kafka producer 异步 同步 发送
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/tzwjava/article/details/39930715
版权
kafka producer 端 发送数据分为 同步（实时）和异步（达到设定发送条件）

异步发送相关参数
producer.type  async/sync 默认是sync 
当满足以下其中一个条件的时候就触发 发送
batch.num.messages 异步发送 每次批量发送的条目 
queue.buffering.max.ms 异步发送的时候 发送时间间隔 单位是毫秒

一些相关参数
queue.buffering.max.messages 每次最大的提交量

queue.enqueue.timeout.ms -1/0 如果批量信息已经达到
queue.buffering.max.messages 的数量 0 表示立即体检 如果队列满了之后就删除  -1 则满了也不会删除 默认是-1
send.buffer.bytes 缓冲区大小

参数可以参考
http://kafka.apache.org/08/configuration.html
rtnull
关注
  • 1
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
kafka源码阅读系列一（kafkaServer的启动流程)
gwyenu的博客
09-16 550
一、kafka简介 Kafka是最初由Linkedin公司开发，是一个分布式、分区的、多副本的、多订阅者，基于zookeeper协调的分布式日志系统（也可以当做MQ系统），常见可以用于web/nginx日志、访问日志，消息服务等等，Linkedin于2010年贡献给了Apache基金会并成为顶级开源项目。 主要应用场景是：日志收集系统和消息系统。 Kafka主要设计目标如下： 以时间复杂度为O(1...
kafka-schema-registry-client-6.2.2.jar
04-25
mvn install:install-file -DgroupId=io.confluent -DartifactId=kafka-schema-registry-client -Dversion=6.2.2 -Dfile=/root/kafka-schema-registry-client-6.2.2.jar -Dpackaging=jar 官网下载地址 packages....
java操作kafka
weixin_61407147的博客
05-21 1323
一.本地连接kafka发送消息：生产者同步发送消息和异步发送消息。
SpringBoot 整合 Kafka 实现千万级数据异步处理
qq_45228323的博客
03-13 1165
在之前的文章中，我们详细的介绍了的架构模型，在集群环境中，可以通过设置分区数来加快数据的消费速度。光知道理论可不行，我们得真真切切的实践起来才行！下面，我将结合生产环境的真实案例，以SpringBoot技术框架为基础，向大家介绍的使用以及如何实现数据高吞吐！
MQ消息队列的解耦、接口异步处理、削峰
热门推荐
Syntacticsugar's blog
12-13 1万+
mq 的作用有哪些？缺点有什么？ 我们大家都知道作用有解耦、接口异步处理、流量削峰，那么我这里来举例说明下这3个概念分别是什么。 解耦 首先我们看下耦合较高的情况，谁愿意负责A系统？难道被累死么？ 负责A系统的大兄弟自作主张引入MQ消息队列后，我管你老王、老张还是老李要什么数据，我放在MQ中，你们要就从MQ中拿，别来烦我、 接口异步处理 首先来看下没有引入MQ时候，假设打开一个网页随意...
【kakfa配置参数-Producer详解】
06-11 145
serializer.class 默认值： kafka.serializer.DefaultEncoder 必须实现kafka.serializer.Encoder接口，将T类型的对象encode成kafka message     key.serializer.class 默认值：serializer.class key对象的serializer类     parti...
【Kafka】消息的同步发送和异步发送
m0_45406092的博客
08-09 1万+
文章目录概述1. sync vs async2. 可靠性机制2.1 oneway3. 一般配置参考 概述 kafka有同步（sync）、异步（async）以及oneway这三种发送方式，某些概念上区分也可以分为同步和异步两种，同步和异步的发送方式通过“producer.type”参数指定，而oneway由“request.require.acks”参数指定。 1. sync vs async 在官方文档Producer Configs中有如下： 翻译过来就是： producer.type的默认值是syn
不要被kafka的异步模式欺骗了
lucasma的博客
06-13 1997
啥是异步模式 kafka的生产者可以选择使用异步方式发送数据，所谓异步方式，就是我们调用 send() 方法，并指定一个回调函数， 服务器在返回响应时调用该函数。 kafka在客户端里暴露了两个send方法，我们可以自己选择同步或者异步模式。我们来看一个kafka的生产者发送示例，有个直观的感受。这个示例是一个同步的模式。 ProducerRecord<String, String> record = new ProducerRecord<>(“Kafka”, “Kafka_Prod
第五章——Kafka消息中间件
05-25
本章主要是讲解分布式架构下的异步消息通信机制的解决方案Kafka，从Kafka的产生背景、到Kafka 的基本应用、最后再深入分析Kafka的原理进行整体的梳理和分析。
kafka笔记（二）：生产者-同步发送/异步发送/生产者分区/数据可靠性/数据去重/消息发送流程
qq_55906442的博客
09-20 1585
根据需求可以自己重新实现分区器（1）需求：实现一个分区器，发送的数据出现jeffry就发送到分区1，否则发送到分区2.（2）实现：1）代码/*** 1.实现接口partitioner* 2.实现三个方法：partition，close，configure* 3.编写partition方法，返回分区号*//**** @param topic 主题* @param key 消息的key* @param keyBytes 消息的key序列化后的字节数组。
kafka生产同步发送和异步发送
weixin_69412520的博客
06-22 3045
kafka-python实现生产同步和异步发送发送并忘记 同步发送 异步发送加回调函数acks=0, 表示消息发送之后就不管了，无论消息是否写成功 acks=1，表示消息发送后并写成功kafka的topic对应分区的leader节点就返回成功 acks=-1/all，表示消息发送并写成功topic对应分区的leader节点，所有副本follow来同步数据成功，返回给leader节点，leader节点在一起返回确认给生产侧才表示写成功 那么下面就来看一下具体三种生产方式对应的代码：-此方式只管发送，不关心消息
go-kafka-example:Golang Kafka消费者和生产者示例
05-06
Golang Kafka示例 示例Golang Kafka消费者和生产者 设置 制片人 go run cmd/producer/main.go 消费者 标志： brokerList 话题 分区（默认值：0） ...我们非常感谢您对go-kafka-example的贡献，请查看LICEN
kafka-connect-redis:f Kafka Connect Redis的源和接收器连接器
05-11
用于Redis的Kafka源和接收器连接器 连接器 来源 Kafka Connect Redis Source使用Redis发布/订阅订阅Redis通道/模式（包括），并将接收到的消息写入Kafka。 有关更多信息，请参见。 下沉 Kafka Connect Redis Sink...
kafka-eagle-bin-2.1.0.tar.gz
07-05
kafka-eagle-bin-2.1.0.tar.gz 2022年7月份下载，最新版
kafka-connect-oracle:Kafka Source Connector for Oracle
05-28
Kafka ConnectOraclekafka-connect-oracle是一个Kafka源连接器，用于从Oracle数据库捕获所有基于行的DML更改并将这些更改流式传输到Kafka。 变更数据捕获逻辑基于Oracle LogMiner解决方案。 仅从Oracle中提取已提交...
kafka
最新发布
sea_bunch的博客
04-18 615
因为在高并发环境下，同步请求来不及处理，请求往往发生阻塞。例如：大量请求访问数据库，最后还会导致线程过多，容易引发雪崩。我们使用消息队列，通过异步处理请求。消息队列应用于等场景比较常见的MQ中间件有等。
Kafka概述
YUEAwb的博客
04-12 780
Kafka 是一个分布式的基于发布/订阅模式的消息队列（MQ，Message Queue），主要应用于大数据实时处理领域。
实际工作中kafka的应用和遇到的问题
weixin_45427945的博客
04-14 483
kafka的应用场景和遇到的问题
zookeeper分布式应用程序协调服务+消息中间件kafka分布式数据处理平台
mikechen1的博客
04-12 1048
Zookeeper。是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件，提供的功能包括：配置维护、域名服务、分布式同步、组服务等。ZooKeeper的目标就是封装好复杂易出错的关键服务，将简单易用的接口和性能高效、功能稳定的系统提供给用户。ZooKeeper包含一个简单的原语集，提供Java和C的接口。ZooKeeper代码版本中，提供了分布式独享锁、选举、队列的接口，代码在 $zookeeper_home\src\recipes。
Kafka学习笔记（6）----Kafka使用Producer发送消息
05-23
在 Kafka 中，Producer 是用来发送消息到 Kafka 集群的组件。在本篇文章中，我们将介绍如何使用 Kafka 的 Java 客户端 API 来编写一个简单的 Producer。 1. 引入 Kafka 依赖 首先，需要在 Maven 或 Gradle 构建中引入 Kafka 客户端依赖： ```xml <dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka-clients</artifactId> <version>2.8.0</version> </dependency> ``` 2. 创建 Producer 实例 接下来，在 Java 代码中创建一个 KafkaProducer 实例： ```java Properties props = new Properties(); props.put("bootstrap.servers", "localhost:9092"); props.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer"); props.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer"); Producer<String, String> producer = new KafkaProducer<>(props); ``` 其中，bootstrap.servers 是必须设置的属性，用于指定 Kafka 集群中至少一个 Broker 的地址。key.serializer 和 value.serializer 用于指定消息的键和值的序列化器。这里我们使用的是 StringSerializer，也可以使用其他序列化器实现自定义序列化逻辑。 3. 发送消息 一旦创建了 KafkaProducer 实例，就可以使用它来发送消息到指定的 Kafka 主题： ```java ProducerRecord<String, String> record = new ProducerRecord<>("test-topic", "key", "value"); producer.send(record); ``` 这里的 ProducerRecord 构造函数中，第一个参数是要发送消息的主题名称，第二个参数是消息的键，第三个参数是消息的值。send() 方法用于将 ProducerRecord 发送到 Kafka 集群。 4. 关闭 Producer 在使用完 Producer 后，需要关闭它以释放资源： ```java producer.close(); ``` 完整代码示例： ```java import org.apache.kafka.clients.producer.*; import java.util.Properties; public class KafkaProducerExample { public static void main(String[] args) { Properties props = new Properties(); props.put("bootstrap.servers", "localhost:9092"); props.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer"); props.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer"); Producer<String, String> producer = new KafkaProducer<>(props); ProducerRecord<String, String> record = new ProducerRecord<>("test-topic", "key", "value"); producer.send(record); producer.close(); } } ``` 这就是一个简单的 Kafka Producer 的使用示例。在实际应用中，还可以根据需要设置其他属性，例如消息的分区策略、消息的压缩方式等。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值