Java使用Producer向Kafka集群发送消息

最新推荐文章于 2024-09-11 17:02:23 发布
最新推荐文章于 2024-09-11 17:02:23 发布
阅读量2.7k 收藏 5
点赞数
分类专栏： Kafka 文章标签： kafka java apache
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/miaoge_miaoge/article/details/121755118
版权
本文详细介绍了Java使用KafkaProducerAPI向Kafka集群发送消息的三种方式：直接发送、同步发送和异步发送。在直接发送中，消息可能会丢失但适合日志记录；同步发送会等待Kafka确认，确保消息发送成功；异步发送结合回调处理，可在发送后执行其他操作。每种方式都涉及到消息序列化、异常处理和发送策略。
摘要由CSDN通过智能技术生成

Java使用Producer向Kafka集群发送消息

Java使用Kafka Producer API向Kafka集群发送消息的时候，大概有3中形式，分别为直接、同步、异步发送，本篇文章会介绍这3中发布方式的区别

一、Pom文件配置

<dependency>
	<groupId>org.apache.kafka</groupId>
	<artifactId>kafka-clients</artifactId>
	<version>0.9.0.1</version>
</dependency>

二、向Kafka集群发送消息

2.1 直接发送

import java.util.Properties;
import org.apache.kafka.clients.producer.KafkaProducer;
import org.apache.kafka.clients.producer.ProducerRecord;

public class Producer1 {

	public static void main(String[] args) {

		Properties kafkaProps = new Properties();
		kafkaProps.put("bootstrap.servers", "10.202.62.66:9092,10.202.62.67:9092,10.202.62.68:9092");
		kafkaProps.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer");
		kafkaProps.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer");
		KafkaProducer<String, String> producer = new KafkaProducer<String, String>(kafkaProps);
		// 直接发送
		for (int i = 0; i < 100; i++) {
			ProducerRecord<String, String> record = new ProducerRecord<>("testtopic", "key" + i, "message " + i);
			producer.send(record);

		}
		producer.flush();
		producer.close();
	}
}

这里有几个注意事项：

(1) Producer接收是ProducerRecord对象，因此最开始的时候需要创建ProducerRecord的对象。ProducerRecord有好几种构造方法，稍后我们会讲到。上面例子中需要填写接收消息的topic（以啊不能都是字符串类型），想要发送的key和value。key和value的类型必须要和序列化保持一致。

(2) 使用send()方法发送ProducerRecord对象，就像最开始Kafka的架构一样，消息会先缓存在buffer，然后开启独立的线程发送给broker。send()方法返回一个Java Future对象，对象中包含RecordMetadata，在上面的例子中并没有关心返回值，因此也就不知道消息是否发送成功，这种一般适用于允许丢失消息的情况。比如记录一些日志信息或者是不太重要的应用信息。

(3) 虽然我们忽略了向broker发送数据时出的错或者是Broker自己出的错，在producer发送数据前如果有错误仍然会抛出异常。有可能是在序列化消息的时候，产生了异常。比如说Buffer已经满了或者是发送线程中断产生的中断异常。

2.2 同步发送

import java.util.Properties;
import java.util.concurrent.ExecutionException;
import java.util.concurrent.Future;
import org.apache.kafka.clients.producer.KafkaProducer;
import org.apache.kafka.clients.producer.ProducerRecord;
import org.apache.kafka.clients.producer.RecordMetadata;

public class Producer2 {

	public static void main(String[] args) {

		Properties kafkaProps = new Properties();
		kafkaProps.put("bootstrap.servers", "10.202.62.66:9092,10.202.62.67:9092,10.202.62.68:9092");
		kafkaProps.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer");
		kafkaProps.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer");
		KafkaProducer<String, String> producer = new KafkaProducer<String, String>(kafkaProps);

		// 同步发送
		for (int i = 0; i < 100; i++) {
			ProducerRecord<String, String> record = new ProducerRecord<>("testtopic", "key-"+i, "message " + i);
			Future<RecordMetadata> result = producer.send(record);
			try {
				RecordMetadata m = result.get();
				System.out.println("partition:" + m.partition() + ",offset:" + m.offset());
			} catch (InterruptedException e) {
				e.printStackTrace();
			} catch (ExecutionException e) {
				e.printStackTrace();
			}
		}
		producer.flush();
		producer.close();

	}
}

(1)这里用了Future.get()方法，会等待kafka的确认回复。当broker遇到错误或者应用出现问题时，future接口都会抛出异常，然后我们可以捕获到这个异常进行处理。如果没有错误。将会获得RecordMetadata对象，这个对象包含了消息写入的偏移值。

(2)Producer有两种错误类型。一种是可以通过再次发送消息解决的错误，比如连接出现问题，需要重新连接；或者是"no leader"错误，通过等待一会Leader重新选举完就可以继续。producer可以配置自动重试。另一种是通过重试无法处理的错误，比如消息过大，这种情况下，Producer就不会重试，而是直接抛出异常。

2.3 异步发送

import java.util.Properties;
import java.util.concurrent.ExecutionException;
import java.util.concurrent.Future;
import org.apache.kafka.clients.producer.Callback;
import org.apache.kafka.clients.producer.KafkaProducer;
import org.apache.kafka.clients.producer.ProducerRecord;
import org.apache.kafka.clients.producer.RecordMetadata;

public class Producer3 {

	public static void main(String[] args) {
		Properties kafkaProps = new Properties();

		kafkaProps.put("bootstrap.servers", "10.202.62.66:9092,10.202.62.67:9092,10.202.62.68:9092");
		kafkaProps.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer");
		kafkaProps.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer");
		KafkaProducer<String, String> producer = new KafkaProducer<String, String>(kafkaProps);

		for (int i = 0; i < 100; i++) {
			ProducerRecord<String, String> record = new ProducerRecord<>("testtopic", "key" + i, "async message " + i);
			Future<RecordMetadata> result = producer.send(record, new Callback() {
				@Override
				public void onCompletion(RecordMetadata metadata, Exception exception) {
					if (exception != null) {
						exception.printStackTrace();
					}
					if (metadata != null) {
						System.out.println("partition:" + metadata.partition() + ",offset:" + metadata.offset());
					}
				}
			});

			try {
				RecordMetadata m = result.get();
				System.out.println(m.partition() + "," + m.topic());
			} catch (InterruptedException e) {
				e.printStackTrace();
			} catch (ExecutionException e) {
				e.printStackTrace();
			}
			try {
				Thread.sleep(1000);
			} catch (InterruptedException e) {
				e.printStackTrace();
			}
		}
		producer.flush();
		producer.close();
	}
}

(1) 为了使用回调方法，需要实现org.apache.kafka.clients.producer.Callback接口,实现它的onCompletion方法。

(2) 当Kafka返回错误的时候，onCompletion方法会收到一个非null的异常。上面的例子直接打印异常消息，但是如果是生产环境，需要做一些处理错误的操作。

(3) 记录的创建和之前是一样的

(4)需要再发送消息的时候，传入回调的对象

2.4 Flume使用的发送方式

package com.master.kafka;

import java.util.ArrayList;
import java.util.List;
import java.util.Properties;
import java.util.concurrent.ExecutionException;
import java.util.concurrent.Future;
import org.apache.kafka.clients.producer.Callback;
import org.apache.kafka.clients.producer.KafkaProducer;
import org.apache.kafka.clients.producer.ProducerRecord;
import org.apache.kafka.clients.producer.RecordMetadata;

public class FlumeProducer {

	public static void main(String[] args) {
		Properties kafkaProps = new Properties();
		List<Future<RecordMetadata>> list = new ArrayList<Future<RecordMetadata>>();
		kafkaProps.put("bootstrap.servers", "10.202.62.66:9092,10.202.62.67:9092,10.202.62.68:9092");
		kafkaProps.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer");
		kafkaProps.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer");
		KafkaProducer<String, String> producer = new KafkaProducer<String, String>(kafkaProps);
		for (int i = 0; i < 100; i++) {
			ProducerRecord<String, String> record = new ProducerRecord<>("testtopic", "key--" + i,
					"flume message " + i);
			Future<RecordMetadata> result = producer.send(record, new Callback() {
				@Override
				public void onCompletion(RecordMetadata metadata, Exception exception) {
					if (exception != null) {
						exception.printStackTrace();
					}
					if (metadata != null) {
						System.out.println("partition:" + metadata.partition() + ",offset:" + metadata.offset());
					}
				}
			});
			list.add(result);
		}
		for (Future<RecordMetadata> future : list) {
			try {
				future.get();
			} catch (InterruptedException | ExecutionException e) {
				e.printStackTrace();
			}
		}
		producer.flush();
		producer.close();
	}
}
班班v
关注
专栏目录
java 向kafka发送消息 创建kafka Producer  以便批量发送消息
weixin_43928714的博客
05-12 5528
java创建kafka Producer 以便批量发送消息 /** * 创建Producer * @return */ @Override public Producer<String, String> createProducer() { //获取kafka配置信息，根据自己所需，也可写死 String kafkaConfigStr = dmpSysConfigService.getkafkaConfi.
kafka生产者producer的Java实现。
热门推荐
ch717828的专栏
03-07 1万+
继前面几篇  1. 搭建Storm集群 http://blog.csdn.net/ch717828/article/details/50718783  2. kafka集群环境搭建 http://blog.csdn.net/ch717828/article/details/50748872 3. storm+ kafka集成  http://blog.csdn.net/ch717
在 Java 中实现 Kafka Producer 的单例模式
最新发布
专注于全栈开发领域
09-11 1106
在分布式系统中，Apache Kafka 是一个非常受欢迎的消息中间件。它提供了高吞吐量、低延迟的消息传递机制，非常适合处理实时数据流。本文将介绍如何在 Java 中使用 Kafka Producer 并实现单例模式，以确保资源的有效管理。Kafka 是一个分布式流处理平台，它的核心功能包括发布和订阅记录流、存储流记录、以及处理流记录。为了充分利用 Kafka 的功能，一个高效的 Kafka 生产者（Producer）是必要的。
KafkaProducer【java版】
留歌__36的博客
05-26 558
前置： 启动zk进程和kafka进程 zkServer.sh start nohup kafka-server-start.sh $KAFKA_HOME/config/server.properties & 使用tail -F nohup.out查看启动的日志 1.创建一个topic $KAFKA_HOME/bin/kafka-topics.sh -create -zookeeper sp...
java中kafka的数据发送和接收
qq_33388597的博客
12-13 4910
kafka发送和接收数据。
[Kafka] - Kafka Java Producer代码实现
weixin_30338481的博客
02-23 169
根据业务需要可以使用Kafka提供的Java Producer API进行产生数据，并将产生的数据发送到Kafka对应Topic的对应分区中，入口类为：Producer Kafka的Producer API主要提供下列三个方法： 　　public void send(KeyedMessage<K,V> message) 发送单条数据到Kafka集群 　　public void s...
java版kafka producer实现
xy_kok的博客
09-06 1101
需求： 1. kafka server已经配置完全，且设定了访问限制 基于这一点，必须要设定认证，及预先分配的账号密码 2. 由于项目开发环境是java，且不允许使用LogStash 基于这一点，必须实现一个java版的producer 先贴一份代码，本地运行通过，祛除不相干部分之后的代码（未验证）： import org.apache.kafka....
java查看kafka集群状态_Linux系统 Kafka集群
weixin_42405592的博客
02-25 8273
Kafka相关概念Kafka的定义它是一个分布式消息系统，由linkedin使用scala编写，用作LinkedIn的活动流(Activity Stream)和运营数据处理管道(Pipeline)的基础。具有高水平扩展和高吞吐量。注：Zookeeper是一种在分布式系统中被广泛用来作为：分布式状态管理、分布式协调管理、分布式配置管理、和分布式锁服务的集群。kafka增加和减少服务器都会在Zooke...
Kafka生产者向kafka发送消息Java代码.zip
11-08
在本文中，我们将深入探讨如何使用Java编程语言与Apache Kafka进行交互，特别是关注如何编写一个Kafka生产者来发送消息到Kafka主题。Apache Kafka是一个分布式流处理平台，广泛用于实时数据管道和消息系统，而Java是...
使用sasl的kafka集群的搭建使用
03-15
Kafka集群搭建和使用过程涉及多个技术要点和配置项，包括SASL安全机制、ACL权限设置、Kafka基础概念以及安装配置步骤等。下面将详细介绍这些知识点。 首先，SASL（Simple Authentication and Security Layer）是为C...
Java使用kafka发送和生产消息的示例
08-27
"Java使用Kafka发送和生产消息的示例" Kafka是一种流行的分布式流处理平台，用于构建实时数据管道和流处理应用程序。Java是最常用的编程语言之一，用于开发基于Kafka的应用程序。本文将介绍如何使用Java发送和生产...
java kafka producer_Java实现Kafka Producer方法
weixin_39966020的博客
02-13 111
import org.apache.kafka.clients.producer.*;import java.util.Properties;public class MyProducer {private static KafkaProducer producer;static{Properties kfkProperties = new Properties();kfkProperties.p...
kafka java api示例_Kafka——JAVA_API的使用之Producer（核心原理与示例）
weixin_34247523的博客
02-13 263
通过https://www.cnblogs.com/tree1123/p/11243668.html 已经对consumer有了一定的了解。producer比consumer要简单一些。一、旧版本producer0.9.0.0版本以前，是由scala编写的旧版本producer。入口类：kafka.producer.Producer代码示例：Properties properties = new...
java:Kafka生产者推送数据与消费者接收数据（参数配置以及案例）
Leaf吧的博客
04-28 6851
java kafka 生产者消费者配置 以及参考
Java kafka producer 发送数据
请叫我大师兄
07-26 4271
（1）生产者概览 （1）不同的应用场景对消息有不同的需求，即是否允许消息丢失、重复、延迟以及吞吐量的要求。不同场景对Kafka生产者的API使用和配置会有直接的影响。 例子1：信用卡事务处理系统，不允许消息的重复和丢失，延迟最大500ms，对吞吐量要求较高。 例子2：保存网站的点击信息，允许少量的消息丢失和重复，延迟可以稍高（用户点击链接可以马上加载出页面即可），吞吐量取决于用户使用网站的频度。 （2）Kafka发送消息的主要步骤 消息格式：每个消息是一个ProducerRecord对象，必须指定
java创建有限个资源,在java中创建kafka生产者（producer）
weixin_36347133的博客
03-21 1014
本文概述在上一节中，我们学习了创建Kafka项目的基本步骤。现在，在用Java创建Kafka生产者之前，我们需要定义基本的Project依赖项。在我们的项目中，将需要两个依赖项：卡夫卡依赖记录依存关系，即SLF4J Logger。设置依赖关系需要执行以下步骤：步骤1：构建工具Maven包含一个“ pom.xml”文件。 “ pom.xml”是默认XML文件，其中包含有关GroupID，Artifa...
Kafka（10）集群消息的发送和消费
учёба
01-26 1120
一：集群消息的发送 ./kafka-console-producer.sh --broker-list 192.168.156.131:9092,192.168.156.131:9093,192.168.156.131:9094 --topic my-replicated-topic 实际操作 [root@localhost bin]# ./kafka-console-producer.sh --broker-list 192.168.156.131:9092,192.168.156.131:9093,
使用Java解决JEESZ-Kafka集群安装的源代码实现
在 Java 代码中，我们可以使用 Kafka 的 Java 客户端库来实现 Kafka 集群安装。首先，我们需要将 Kafka 的安装包下载到本地，然后使用 Java 代码来解压缩安装包，并将其配置到 Zookeeper 中。 ```java import java....
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值