Kafka_5_ API_同异步

最新推荐文章于 2024-09-12 18:54:58 发布
最新推荐文章于 2024-09-12 18:54:58 发布
阅读量609 收藏 11
点赞数 20
文章标签： kafka linq 分布式
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_61809177/article/details/137652792
版权

Kafka API

Producer API

1.1消息发送流程

Kafka 的 Producer 发送消息采用的是异步发送的方式。在消息发送的过程中，涉及到了两个线程——main 线程和 Sender 线程，以及一个线程共享变量——RecordAccumulator。 main 线程将消息发送给 RecordAccumulator，Sender 线程不断从 RecordAccumulator 中拉取消息发送到 Kafka broker。

batch.size：只有数据积累到batch.size之后，sender才会发送数据。
linger.ms：如果数据迟迟未达到batch.size，sender等待linger.time之后就会发送数据

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

1.2异步发送API

直接实现

​ (1)创建maven项目kafka01。

​ (2)向pom.xml导入依赖

<dependencies>
<dependency>
<groupId>org.apache.kafka</groupId>
<artifactId>kafka-clients</artifactId>
<version>2.4.1</version>
</dependency>
<dependency>
<groupId>org.apache.logging.log4j</groupId>
<artifactId>log4j-slf4j-impl</artifactId>
<version>2.12.0</version>
</dependency>
</dependencies>

​ (3)在项目 resources目录中新建 log4j2.xml 文档

<?xml version="1.0" encoding="UTF-8"?>
<Configuration status="error" strict="true" name="XMLConfig">
    <Appenders>
        <!-- 类型名为Console，名称为必须属性 -->
        <Appender type="Console" name="STDOUT">
            <!-- 布局为PatternLayout的方式，
            输出样式为[INFO] [2018-01-22 17:34:01][org.test.Console]I'm here -->
            <Layout type="PatternLayout"
                    pattern="[%p] [%d{yyyy-MM-dd HH:mm:ss}][%c{10}]%m%n" />
        </Appender>
    </Appenders>
    <Loggers>
        <!-- 可加性为false -->
        <Logger name="test" level="info" additivity="false">
            <AppenderRef ref="STDOUT" />
        </Logger>
        <!-- root loggerConfig设置 -->
        <Root level="info">
            <AppenderRef ref="STDOUT" />
        </Root>
    </Loggers>
</Configuration>

​ (4)创建类：com.itwise.kafka.producer.ProducerDome01

KafkaProducer：需要创建一个生产者对象，用来发送数据

ProducerConfig：获取所需的一系列配置参数

ProducerRecord：每条数据都要封装成一个ProducerRecord对象

package com.itwise.kafka.producer;


import org.apache.kafka.clients.producer.KafkaProducer;
import org.apache.kafka.clients.producer.ProducerRecord;

import java.util.Properties;

public class ProducerDome01 {
    /**
     * 链接哪一个topic分区
     */
    public static void main(String[] args) {
//        定义参数,通过这个属性对象将参数传递进来
        Properties props = new Properties();
//        连接kafka集群
        props.put("bootstrap.servers", "node2:9092");
//        应答机制--all(-1)
        props.put("acks", "all");
//        重试的次数,重连
        props.put("retries", 1);
//        每个批次大小(16k)
        props.put("batch.size", 16384);
//        等待时间
        props.put("linger.ms",1);
//        RecordAccumulator 缓冲区大小 32MB
        props.put("buffer.memory", 33554432);
//        serializer序列化配置;
        props.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer");
        props.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer");


//        需要传参数
        KafkaProducer<String, String> stringStringKafkaProducer
                = new KafkaProducer<String, String>(props);

//        发送消息
        //发送消息：
        for (int i = 0; i < 2000; i++) {
stringStringKafkaProducer.send(new ProducerRecord<String,String>("itwise","itwise-"+i));
//stringStringKafkaProducer.send(new ProducerRecord<String,String>("itwise",0,null,"itwise->"+i));
           /* stringStringKafkaProducer.send(new ProducerRecord<String,String>
                    ("itwise", UUID.randomUUID().toString(),"itwise-->>"+i));*/
        }
//        关闭IO流
        stringStringKafkaProducer.close();
    }
}

​ (5)连接消费者查看是否成功

[itwise@node2 ~]$ kafka-console-consumer.sh --consumer.config /opt/module/kafka_2.11-2.4.1/config/consumer.properties --bootstrap-server node2:9092 --topic itwise

​ (6)实验结果:

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

1.3带回调函数的使用：

回调函数会在producer收到ack时调用，为异步调用，该方法有两个参数，分别RecordMetadata和Exception，如果Exception为null，说明消息发送成功，如果Exception不为null，说明消息发送失败。

注意：消息发送失败会自动重试，不需要我们在回调函数中手动重试。

(1)java代码实现

package com.itwise.kafka.producer;


import org.apache.kafka.clients.producer.Callback;
import org.apache.kafka.clients.producer.KafkaProducer;
import org.apache.kafka.clients.producer.ProducerRecord;
import org.apache.kafka.clients.producer.RecordMetadata;

import java.util.Properties;

public class ProducerDome02_Callback {
    /**
     * 链接哪一个topic分区
     */
    public static void main(String[] args) {
//        定义参数,通过这个属性对象将参数传递进来
        Properties props = new Properties();
//        连接kafka集群
//        ProducerConfig 生产者的配置对象
//        ConsumerConfig 消费者的配置对象
        props.put("bootstrap.servers", "node2:9092");

//        应答机制--all(-1)
        props.put("acks", "all");

//        重试的次数,重连
        props.put("retries", 1);

//        每个批次大小(16k)
        props.put("batch.size", 16384);

//        等待时间
        props.put("linger.ms",1);

//        RecordAccumulator 缓冲区大小 32MB
        props.put("buffer.memory", 33554432);
//        serializer序列化配置;
        props.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer");
        props.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer");


//        需要传参数
        KafkaProducer<String, String> stringStringKafkaProducer
                = new KafkaProducer<String, String>(props);

//        发送消息
        //发送消息：
        for (int i = 0; i < 2000; i++) {
            
stringStringKafkaProducer.send(new ProducerRecord<String, String>("itwise", "itwise--" + i), 
//        添加回调机制,从java控制台输出,重写方法
        new Callback() {
    @Override
    public void onCompletion(RecordMetadata recordMetadata, Exception e) {
//      判断信息是否发送成功
        if (e == null) {
//         发送成功,并返回主题,元数据,分区,key,value
            System.out.println("发送成功"+recordMetadata.topic()+","+recordMetadata.partition()
            +","+recordMetadata.offset()+","+recordMetadata.serializedKeySize()
            +","+recordMetadata.serializedValueSize());
        }else {
//            返回报错信息
            System.out.println("发送失败"+e.getMessage());
        }
    }
});
//stringStringKafkaProducer.send(new ProducerRecord<String,String>("itwise",0,null,"itwise->"+i));
           /* stringStringKafkaProducer.send(new ProducerRecord<String,String>
                    ("itwise", UUID.randomUUID().toString(),"itwise-->>"+i));*/
        }
//        关闭IO流
        stringStringKafkaProducer.close();
    }
}

演示结果:

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

1.4带回调函数的同步

同步发送的意思就是，一条消息发送之后，会阻塞当前线程，直至返回ack。

由于send方法返回的是一个Future对象，根据Futrue对象的特点，我们也可以实现同步发送的效果，只需在调用Future对象的get方发即可

java代码

package com.itwise.kafka.producer;


import org.apache.kafka.clients.producer.Callback;
import org.apache.kafka.clients.producer.KafkaProducer;
import org.apache.kafka.clients.producer.ProducerRecord;
import org.apache.kafka.clients.producer.RecordMetadata;

import java.util.Properties;
import java.util.concurrent.ExecutionException;
import java.util.concurrent.Future;

public class ProducerDome03_Callback_all {
    /**
     * 链接哪一个topic分区
     */
    public static void main(String[] args) throws ExecutionException, InterruptedException {
//        定义参数,通过这个属性对象将参数传递进来
        Properties props = new Properties();
//        连接kafka集群
//        ProducerConfig 生产者的配置对象
//        ConsumerConfig 消费者的配置对象
        props.put("bootstrap.servers", "node2:9092");

//        应答机制--all(-1)
        props.put("acks", "all");

//        重试的次数,重连
        props.put("retries", 1);

//        每个批次大小(16k)
        props.put("batch.size", 16384);

//        等待时间
        props.put("linger.ms",1);

//        RecordAccumulator 缓冲区大小 32MB
        props.put("buffer.memory", 33554432);
//        serializer序列化配置;
        props.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer");
        props.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer");


//        需要传参数
        KafkaProducer<String, String> stringStringKafkaProducer
                = new KafkaProducer<String, String>(props);

//        发送消息
        //发送消息：
        for (int i = 0; i < 2000; i++) {


            //将生产者调用
            Future<RecordMetadata> future= stringStringKafkaProducer.send(new ProducerRecord<String, String>(
                    "itwise", "itwise_future同步" + i),
//        添加回调机制,从java控制台输出,重写方法
        new Callback() {
    @Override
    public void onCompletion(RecordMetadata recordMetadata, Exception e) {
//      判断信息是否发送成功
        if (e == null) {
//         发送成功,并返回主题,元数据,分区,key,value
            System.out.println("发送成功"+recordMetadata.topic()+","+recordMetadata.partition()
            +","+recordMetadata.offset()+","+recordMetadata.serializedKeySize()
            +","+recordMetadata.serializedValueSize());
        }else {
//            返回报错信息
            System.out.println("发送失败"+e.getMessage());
        }
    }
});
            System.out.println("真正发送");
//            调用future,抛出异常
            future.get();
            System.out.println("发送完毕");


        }
//        关闭IO流
        stringStringKafkaProducer.close();
    }
}

同步与异步

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

getMessage());
}
}
});
System.out.println(“真正发送”);
// 调用future,抛出异常
future.get();
System.out.println(“发送完毕”);

    }

// 关闭IO流
stringStringKafkaProducer.close();
}
}


同步与异步

[外链图片转存中...(img-DDnby5fQ-1712839914579)]

![外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传](https://img-home.csdnimg.cn/images/20230724024159.png?origin_url=C%3A%5CUsers%5CAdministrator%5CAppData%5CRoaming%5CTypora%5Ctypora-user-images%5Cimage-20240313204243558.png&pos_id=img-UjFujOnV-1712839914579)
怯生QAQ
关注
kafka异步发送
方方园园的博客
02-24 360
package com.sdyy.maint.kafka; import com.sdyy.maint.entity.KafkaMessage; import lombok.extern.log4j.Log4j; import org.springframework.beans.factory.annotation.Autowired; import org.springframework.ka...
在Kafka上异步发送数据
最佳 Java 编程
06-14 890
对于一个项目，我试图记录用户的基本交易，例如添加和删除一个项目以及多种类型的项目，并为每笔交易向kafka发送一条消息。 日志机制的准确性不是至关重要的，在kafka服务器停机的情况下，我不希望它阻止我的业务代码。 在这种情况下，将数据发送到kafka的异步方法是一种更好的方法。 我的kafka生产者代码在其引导项目中。 为了使其异步，我只需要添加两个注释：@EnableAsync和@A...
kafka消息发送几种方式
最新发布
happycao123的博客
09-12 676
有些发送异常可以通过重试几次后解决，比如网络异常，对于有些异常比如消息太大超出kafka配置的最大消息字节数，这类异常重试也会失败，所以这类异常KafkaProducer 不会进行任何重试。有没有办法既要异步发送还要能处理发送失败的场景，这就是第三种，发送完成时，执行相应的回调方法。：等待发送结果返回，这种方式是可靠的，因为异常能及时处理，但同步发送需要阻塞等待一条消息发送完才处理下一条，吞吐量差。发送是异步的，不关心发送的结果，吞吐量最高，但可能存在发送失败的情况。分为同步发送、异步发送。
kafka生产者之异步发送
qq_36740038的博客
06-01 643
是指外部的消息 经过，拦截器，序列化器，分区器异步发送到 Dquene中。
Kafka异步发送数据
feizuiku0116的博客
06-10 2203
1. 异步发送过程 2. 带回调函数的异步发送过程 3. java实现
Kafka Producer异步发送消息技巧大揭秘
热门推荐
todoitbo的博客
03-21 1万+
本文深入探讨了Kafka Producer中异步消息发送的技巧和方法，重点介绍了`producer.send(msg)`、`producer.send(msg, rollback)`和`kafkaTemplate.send(record)`等方法的使用方式和效果。通过学习本文，读者将掌握提升消息发送效率、减少延迟的实用技能，从而更好地应对大规模数据处理场景。
最新版 kafka_2.12-2.7.0.tgz
12-23
3. **事件源**：Kafka可以作为微服务架构中的事件总线，实现服务间的异步通信和解耦。 4. **数据聚合**：通过Kafka Connect，可以轻松地将数据导入和导出到其他数据存储系统，如HDFS、Elasticsearch等。 在Kafka ...
kafka_2.10-0.8.2.1.tgz
04-01
0.8.2.1是Kafka的一个稳定版本，主要改进包括增强的容错性、性能优化以及API的改进。此版本引入了新的消费者API，使得消费者可以更高效地处理大规模数据流，同时提供了更好的故障恢复机制。 三、Scala 2.10版本兼容...
Kafka_API_文档
04-04
### Kafka API 文档知识点解析 #### 一、Kafka简介与基本概念 **1.1 Kafka是什么** Kafka是一款开源的分布式消息系统，主要用于构建实时数据管道和流应用。其核心设计思想在于将消息视为一系列分布式日志，通过...
kafka_2.12-2.5.0 s scala-2-12.11.tg
07-21
2. 增强的Consumer API：在2.5.0版本中，消费者API进行了优化，包括更灵活的分区分配策略，以及更好的幂等性和事务处理能力。 3. 安全性改进：Kafka 2.5.0增强了安全性特性，支持SASL/SSL加密和认证，以保护数据...
kafka_2.13.rar
04-15
3. 微服务通信：在微服务架构中，Kafka可以作为服务间的异步通信通道，降低服务间的耦合度。 总结，Kafka以其高吞吐、低延迟的特性在大数据领域独树一帜，而“kafka_2.13.rar”则为我们提供了一个了解和实践Kafka ...
Kafka API 异步发送
qq_40994234的博客
06-24 1549
文章目录Kafka API 异步发送Producer API异步发送自定义Partitions Kafka API 异步发送 Producer API 消息发送流程 Kafka的Producer发送消息采用的是异步发送的方式。在消息发送的过程中，涉及到了两个线程——main线程和Sender线程，以及一个线程共享变量——RecordAccumulator。main线程将消息发送给RecordAccumulator，Sender线程不断从RecordAccumulator中拉取消息发送到Kafka bro
Kafka学习---2、kafka生产者、异步和同步发送API、分区、生产经验
星光不问赶路人，岁月不负有心人
06-13 2356
Kafka学习---2、kafka生产者、异步和同步发送API、分区、生产经验
Kafka Producer发送消息流程之消息异步发送和同步发送
m0_51390969的博客
07-17 1015
按照流程图，上一条消息需要从生产者一直流转，多个步骤，到数据收集器，到Sender，最后还要等待回调确认，才可以开始下一条消息的流转。Kafka默认就是异步发送，在Main线程中的多条消息，没有严格的先后顺序，Sender发送后就继续下一条，异步接受结果。Main线程中，对于多条数据，下一条消息的发送并不等待上一条消息的确认，而是继续发送。消息有严格的先后顺序，下一条消息必须等到上一条消息的回调确认后，再发送，这是一个。可以看到先是main线程循环发送完了多条数据，然后再异步收到通知。
kafka实现异步发送_kafka全面理解
weixin_31173113的博客
12-30 1646
来源：SegmentFault思否社区作者：byte什么是消息队列，它的好处是什么？解藕将消息写入消息队列，需要消息的系统自己从消息队列中订阅，从而上游系统不需要做任何修改例如有上游系统a，它有3个下游系统b,c,d，为了使b,c,d能拿到a的数据，a需要在代码中去调用这3个系统。如果有一天，b不再使用a的数据了或b的接口发生了变化，a还需要修改代码。而使用消息队列，就只管往队列里发送数...
kafka生产者异步发送、同步发送、回调异步发送，是什么情况？
杨荧的CSDN博客
07-21 3787
kafka生产者异步发送、同步发送、回调异步发送，是什么情况？
kafka实现异步发送_理解 Kafka 异步发送消息可靠性策略
weixin_29335033的博客
12-30 2040
↑ 点击上面 “时代Java”关注我们，关注新技术，学习新知识！一、概述Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者在网站中的所有动作流数据。这种动作(网页浏览，搜索和其他用户的行动)是在现代网络上的许多社会功能的一个关键因素。这些数据通常是由于吞吐量的要求而通过处理日志和日志...
Kafak：异步发送
程序员无羡的博客
03-19 208
Kafak：异步发送
创建 Kafka 生产者，采用异步的方式发送到 Kafka Broker
W2398439780的博客
11-17 341
在kafka目录下创建过first这个topic（主题）在 IDEA 中执行代码，观察控制台中是否接收到消息。–replication-factor 定义副本数。–topic 定义 topic 名。–partitions 定义分区数。
Java调用Kafka API详解与实战教程
3. **异步回调**：文章深入讨论了Java调用Kafka API时的异步操作，解释了如何使用`Future`和`get()`方法来处理非阻塞式调用，确保应用程序的响应性和性能优化。 4. **处理复杂数据类型**：在生产者和消费者场景下，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值