KafKa java原生应用

最新推荐文章于 2024-06-09 19:59:57 发布
最新推荐文章于 2024-06-09 19:59:57 发布
阅读量327 收藏 1
点赞数
分类专栏： 中间件及服务端
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/geyuFimally/article/details/89298245
版权

不用框架

KafkaProducer，这里有问题：发送是否要接受回应。（三种 ：1//只发送消息  2//同步发送消息,同步获取返回信息（阻塞）  3：异步发送，需要异步回调类,实现Callback）

package com.hangzhou.kafka;

import java.util.Properties;
import java.util.concurrent.Future;

import org.apache.kafka.clients.producer.Callback;
import org.apache.kafka.clients.producer.KafkaProducer;
import org.apache.kafka.clients.producer.ProducerRecord;
import org.apache.kafka.clients.producer.RecordMetadata;

/**
*生产者
/*

public class MyProducer {

	private static KafkaProducer<String, String> producer;

	static {
		Properties properties = new Properties();

		properties.put("bootstrap", "127.0.0.1:9092");
		//key 和 value序列化
		properties.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer");
		properties.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer");
		//配置自定义的分配器
		properties.put("partitioner.class", "com.hangzhou.kafka.CustomPartitioner");
		
		producer = new KafkaProducer<>(properties);
	}
	//只发送消息
	private static void sendMessageForgetResult() {
		//topic是字符串，key value可能跟填写的类型或序列化有关
		ProducerRecord<String, String> record = new ProducerRecord<>("imooc-kafka-study", "name", "ForgetResult");
		producer.send(record);//Future<RecordMetadata> send可能有异常
		producer.close();
	}
	
	//同步发送消息,同步获取返回信息
	private static void sendMessageSync()throws Exception {
		
		ProducerRecord<String, String> record = new ProducerRecord<>("imooc-kafka-study", "name", "sync");
		
		RecordMetadata result = producer.send(record).get(); //Future返回的结果
		
		System.out.println(result.topic()); //topic
		
		System.out.println(result.partition()); //0分区开始
		
		System.out.println(result.offset());//偏移 0开始
		
		producer.close();
	}
	
	//1.异步发送
	private static void sendMessageCallback() {
		
		ProducerRecord<String, String> record = new ProducerRecord<>("imooc-kafka-study", "name", "callback");
		
		producer.send(record, new MyProducerCallback());
		
		producer.close();
		
	}
	
	
	//2.异步发送，需要异步回调类,实现Callback
	private static class MyProducerCallback implements Callback {
		
		@Override
		public void onCompletion(RecordMetadata metadata, Exception exception) {
			
			if (exception != null) {
				exception.printStackTrace();
				return;
			}
			System.out.println(metadata.topic()); //topic
			
			System.out.println(metadata.partition()); //0分区开始
			
			System.out.println(metadata.offset());//偏移 0开始
			
			System.out.println("Coming in MyProducerCallback");
			
		}
		
	}
	
	
	public static void main(String[] args) throws Exception {
		
		sendMessageForgetResult();
		sendMessageSync();
		sendMessageCallback();
	}
	

}

还有一个知识点 分区分配器

package com.hangzhou.kafka;

import java.util.List;
import java.util.Map;

import org.apache.kafka.clients.producer.Partitioner;
import org.apache.kafka.common.Cluster;
import org.apache.kafka.common.PartitionInfo;
import org.apache.kafka.common.network.InvalidReceiveException;
import org.apache.kafka.common.utils.Utils;


/**
 * 自定义分区分配器
 * @author Administrator
 *
 */

public class CustomPartitioner implements Partitioner {
	
	//keyBytes key的字节数组    Cluster kafka集群
	@Override
	public int partition(String topic, Object key, byte[] keyBytes, Object value, byte[] valueBytes, Cluster cluster) {
		
		List<PartitionInfo> partitionInfos = cluster.partitionsForTopic(topic);
		
		int size = partitionInfos.size();
		//key不能为空，或者不是String类型
		if (null == keyBytes || !(key instanceof String)) {
			throw new InvalidReceiveException("kafka message must have key");
		}
		//如果只有一个分区
		if (size == 1) {
			return 0;
		}
		//key是name ，放最后一个分区
		if (key.equals("name")) {
			return size-1;
		}
		//根据keyBytes计算出hash值，在取余
		return Math.abs(Utils.murmur2(keyBytes)) %(size - 1 );
	}
	
	@Override
	public void configure(Map<String, ?> configs) {
		
	}

	

	@Override
	public void close() {
		
	}
	
	

}

Consumer:也有一个问题，offset位移提交

package com.hangzhou.kafka;
/**
 * 消费者，消费消息 ,不是线程安全的，要一个消费者对应一个线程
 * @author Administrator
 *
 */

import java.util.Collections;
import java.util.Map;
import java.util.Properties;

import org.apache.kafka.clients.consumer.ConsumerRecord;
import org.apache.kafka.clients.consumer.ConsumerRecords;
import org.apache.kafka.clients.consumer.KafkaConsumer;
import org.apache.kafka.clients.consumer.OffsetAndMetadata;
import org.apache.kafka.clients.consumer.OffsetCommitCallback;
import org.apache.kafka.common.TopicPartition;

public class MyConsumer {

	private static KafkaConsumer<String, String> consumer;

	private static Properties properties;

	static {
		properties = new Properties();

		properties.put("bootstrap", "127.0.0.1:9092");
		properties.put("key.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
		properties.put("value.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
		// 指定消费者组
		properties.put("group.id", "kafkaStudy");
	}

	// 1.自动提交位移消费方式。 减少消息的重复消费，避免消息的丢失。引入主动的位移
	private static void generalConsumeMessageAutoCommit() {
		// 允许自动提交位移（offset）
		properties.put("enable.auto.commit", true);
		consumer = new KafkaConsumer<String, String>(properties);
		// 指定要消费的Topic
		consumer.subscribe(Collections.singleton("imooc-kafka-study"));

		while (true) {
			boolean flag = true;
			// 拉取kafka中的数据
			ConsumerRecords<String, String> records = consumer.poll(100);// 延迟
			// 打印消息
			for (ConsumerRecord<String, String> record : records) {
				System.out.println(String.format("topic = %s,partition = %s,key = %s ,value = %s", record.topic(),
						record.partition(), record.key(), record.value()));
				// 判断,当最后的消息之后done
				if (record.value().equals("done")) {
					flag = false;
				}
			}
			// 跳出循环
			if (!flag) {
				break;
			}

		}

		consumer.close();
	}

	// 同步主动提交位移
	private static void generalConsumerMessageSyncCommit() {
		// 取消自动提交位移
		properties.put("auto.commit.offset", false);
		consumer = new KafkaConsumer<String, String>(properties);
		// 指定要消费的Topic,可以是参数集合，列表
		consumer.subscribe(Collections.singleton("imooc-kafka-study"));

		while (true) {
			boolean flag = true;

			ConsumerRecords<String, String> records = consumer.poll(100);

			for (ConsumerRecord<String, String> record : records) {
				System.out.println(String.format("topic = %s,partition = %s,key = %s ,value = %s", record.topic(),
						record.partition(), record.key(), record.value()));
				// 判断,当最后的消息之后done
				if (record.value().equals("done")) {
					flag = false;
				}
			}
			// 同步提交，会阻塞
			consumer.commitSync();

			if (!flag) {
				break;
			}

		}
	}

	// 异步主动提交
	private static void generalConsumeMessageAsyncCommit() {
		// 取消自动提交位移
		properties.put("auto.commit.offset", false);
		consumer = new KafkaConsumer<String, String>(properties);
		// 指定要消费的Topic,可以是参数集合，列表
		consumer.subscribe(Collections.singleton("imooc-kafka-study"));

		while (true) {
			boolean flag = true;

			ConsumerRecords<String, String> records = consumer.poll(100);

			for (ConsumerRecord<String, String> record : records) {
				System.out.println(String.format("topic = %s,partition = %s,key = %s ,value = %s", record.topic(),
						record.partition(), record.key(), record.value()));
				// 判断,当最后的消息之后done
				if (record.value().equals("done")) {
					flag = false;
				}
			}
			// commit A,offset 2000
			// commit B,offset 3000
			// 异步提交，不会阻塞。缺点：服务器返回提交失败，提交不会重试。
			consumer.commitAsync();

			if (!flag) {
				break;
			}

		}

	}

	// 异步主动提交,加提交回调
	private static void generalConsumeMessageAsyncCommitWitchCallback() {

		// 取消自动提交位移
		properties.put("auto.commit.offset", false);
		consumer = new KafkaConsumer<String, String>(properties);
		// 指定要消费的Topic,可以是参数集合，列表
		consumer.subscribe(Collections.singleton("imooc-kafka-study"));

		while (true) {
			boolean flag = true;

			ConsumerRecords<String, String> records = consumer.poll(100);

			for (ConsumerRecord<String, String> record : records) {
				System.out.println(String.format("topic = %s,partition = %s,key = %s ,value = %s", record.topic(),
						record.partition(), record.key(), record.value()));
				// 判断,当最后的消息之后done
				if (record.value().equals("done")) {
					flag = false;
				}
			}
			// 位移提交的回调
			consumer.commitAsync(new OffsetCommitCallback() {

				// 这是内部类
				@Override
				public void onComplete(Map<TopicPartition, OffsetAndMetadata> offsets, Exception exception) {
					// 打印异常
					if (exception != null) {
						System.out.println("commit failed for offsets:" + exception.getMessage());
					}
					
					//要在提交可以用序号一致比较
				}
			});

			if (!flag) {
				break;
			}

		}
	}

	// 混合异步同步提交，当应用退出的时候，我们希望最后的提交也能成功。
	private static void mixSyncAndAsyncCommit() {

		// 取消自动提交位移
		properties.put("auto.commit.offset", false);
		consumer = new KafkaConsumer<String, String>(properties);
		// 指定要消费的Topic,可以是参数集合，列表
		consumer.subscribe(Collections.singleton("imooc-kafka-study"));

		try {
			while (true) {
				
				boolean flag = true;
				
				ConsumerRecords<String, String> records = consumer.poll(100);
				//消费消息
				for (ConsumerRecord<String, String> record : records) {
					System.out.println(String.format("topic = %s,partition = %s,key = %s ,value = %s", record.topic(),
							record.partition(), record.key(), record.value()));
					// 判断,当最后的消息之后done
					if (record.value().equals("done")) {
						flag = false;
					}
				}
				
			}
		} catch (Exception e) {
			System.out.println("commit async error:"+e.getMessage());
		}finally {
			try {
				consumer.commitSync();
			} finally {
				consumer.close();
			}
		}

	}

	public static void main(String[] args) {

	}

}

 

geyuBug
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
kafka的java原生使用实例
pengweismile的专栏
06-07 669
第一步，导包 <dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka-clients</artifactId> <version>2.4.1</version> </dependency> <dependency> <groupId>com.alibaba&lt
kafka java原生简单应用
jie310600的博客
09-23 257
[b]kafka java原生简单应用[/b] KafkaTestMain.java [code="java"]package com; public class KafkaTestMain extends Thread{ private static String topic = "test-xing"; public static void m...
kafka生产消费流程
m0_62645012的博客
06-09 1331
1.生产者先从zookeeper的"/brokers/topic/主题名/partitions/分区名/state"节点找到该partition的leader。比如，消费者可以重置到旧的偏移量，重新处理之前已经消费过的消息；或者直接跳到最近的位置，从当前的时刻开始消费。kafka采用拉取模型，由消费者自己记录消费状态，每个消费者相互独立的顺序拉取消息。leader接收到所有的ISR中的Replica的ACK中，并向生产者返回ACK。broker进程上的leader将消息写入到本地log中。
kafka入门(4)-java操作kafka
qq_32677137的博客
09-16 258
kafka入门(4)-java操作kafka 准备工作 创建maven工程 导入Maven Kafka POM依赖 <repositories><!-- 代码库 --> <repository> <id>central</id> <url>http://maven.aliyun.com/nexus/content/groups/public//</url> <re
spring boot Kafka原生开发
weixin_41463944的博客
11-15 644
spring boot Kafka原生开发
Kafka学习-Java使用Kafka
weixin_49832841的博客
05-11 2277
Kafka是Apache旗下的一款分布式流媒体平台，Kafka是一种高吞吐量、持久性、分布式的发布订阅的消息队列系统。它被广泛应用于实时数据流处理、日志收集和处理以及消息队列等场景。本文将深入介绍Kafka的概念、原理、作用和应用场景。
使用netty实现TCP长链接消息写入kafka以及kafka批量消费数据
07-20
Netty是一个高性能、异步事件驱动的网络应用程序框架，常用于开发高并发、低延迟的网络应用，如TCP服务器。而Kafka是一款分布式流处理平台，它在大数据实时处理和消息传递中扮演着核心角色。 标题"使用netty实现TCP...
kafka-2.12-2.8.2
最新发布
06-14
3. 简单API：提供Java和Scala的API，方便开发者集成到各种应用程序中。 4. 分布式设计：Kafka集群支持跨多个服务器部署，能自动处理节点故障。 5. 时间窗口：支持基于时间的窗口操作，适用于实时数据处理。 二、...
firehose:将数据从Kafka流式传输到任何数据存储区
04-08
使用Firehose，您无需编写应用程序或管理资源。 可以扩大规模以匹配您的数据吞吐量。 如果您的数据存在于Kafka中，Firehose会将其传递到您指定的目的地（SINK）。 主要特征 了解为什么用户选择Firehose作为其主要的...
gregor：Apache Kafka的轻量级Clojure绑定
01-28
它的设计哲学在于保持Clojure的原生风格，同时充分利用Kafka的强大功能。下面，我们将深入探讨`gregor`的核心特性和使用方法。 1. **连接与配置**： `gregor`通过简单的配置参数，如服务器地址、端口、主题等，...
stream-playground:带有Spring Boot，Kafka，Java的流游乐场
03-30
"stream-playground" 是一个项目，它为开发者提供了一个平台，...通过深入研究stream-playground项目，开发者可以学习到如何构建高效、灵活的流处理系统，这对于处理大数据、实时分析以及构建现代云原生应用至关重要。
kafka-java-demo 基于java的kafka生产消费者示例
11-24
kafka-java-demo 基于java的kafka生产消费者示例。 mvn
Kafka原生API使用Java代码-消费者-消费消息
小丁的博客
05-30 291
Kafka原生API使用Java代码-消费者-消费消息 1.3、生产者发送消息 1.3.1、第一次发送消息
在java代码中使用kafka(springboot整合kafka)
jerry764的博客
09-06 8485
java代码maven项目实现kafka的连接及生产者、消费者的创建，以及消息的发布和订阅
kafka java 对象_Kafka序列化一个对象
weixin_42350544的博客
02-28 578
我开始和 Kafka 一起玩 . 我已经设置了一个zookeeper配置，我设法发送和使用String消息 . 现在我试图传递一个Object(在java中)，但由于某种原因，在消费者中解析Message时我有头问题 . 我尝试了几个序列化选项(使用Decoder / Encoder)，并且所有返回相同的头问题 .这是我的代码 生产环境 者：Properties props = new Prope...
【2024】kafka原生以及配合springboot的使用（Kafka-3）
weixin_52315708的博客
04-02 1726
本文主要是介绍通过使用原生代码方式和结合springboot分别如何更好的去使用理解kafka如果需要看理论或者安装kafka可以看我前面两篇内容🍅kafka使用和安装。
原生kafka灵活接入springboot（自定义程度高且灵活）
m0_37596969的博客
05-18 755
一、原声kafka一般操作如下： package com.zhanglijie.entity; import cn.hutool.core.util.StrUtil; import com.zhanglijie.entity.config.QueueConfig; import lombok.Data; import lombok.extern.slf4j.Slf4j; import org.apache.kafka.clients.CommonClientConfigs; import org.apac
kafka java 对象_java - Kafka-在Consumer中反序列化对象 - 堆栈内存溢出
weixin_42513870的博客
02-28 384
我们正在考虑在我们的消息传递中使用Kafka，并且我们的应用程序是使用Spring开发的。 因此，我们计划使用spring-kafka。生产者将消息作为HashMap对象放入队列。 我们有JSON序列化程序，并且我们假设地图将被序列化并放入队列中。 这是生产者配置。spring:kafka:bootstrap-servers: localhost:9092producer:key-seria...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值