Kafka02:生产者消费者小例子

最新推荐文章于 2023-12-30 23:59:57 发布

花与少年°

最新推荐文章于 2023-12-30 23:59:57 发布

阅读量147

点赞数

分类专栏： kafka 文章标签： kafka

本文链接：https://blog.csdn.net/weixin_37630333/article/details/103817222

版权

kafka 专栏收录该内容

4 篇文章 0 订阅

订阅专栏

环境：jdk1.8，eclipse，maven
maven：

	<dependency>
        <groupId>org.apache.kafka</groupId>
        <artifactId>kafka_2.11</artifactId>
        <version>0.10.2.1</version>
    </dependency>

代码


package com.utils.kafka;

import org.apache.kafka.clients.producer.KafkaProducer;
import org.apache.kafka.clients.producer.Producer;
import org.apache.kafka.clients.producer.ProducerRecord;
import java.util.Properties;
import java.util.concurrent.TimeUnit;
import org.apache.kafka.clients.consumer.ConsumerRebalanceListener;
import org.apache.kafka.clients.consumer.ConsumerRecord;
import org.apache.kafka.clients.consumer.ConsumerRecords;
import org.apache.kafka.clients.consumer.KafkaConsumer;
import org.apache.kafka.common.TopicPartition;

import java.util.Arrays;
import java.util.Collection;

public class KafkaTest {
	public static void main(String[] args) {
		shengchanzhe();
		// xiaofeizhe();
	}
 
	private static void xiaofeizhe() {
		Properties props = new Properties();
		props.put("bootstrap.servers", "127.0.0.1:9092");
		props.put("group.id", "test-consumer-group");
		props.put("enable.auto.commit", "true");
		props.put("auto.commit.interval.ms", "1000");
		props.put("key.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
		props.put("value.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
		final KafkaConsumer<String, String> consumer = new KafkaConsumer<String, String>(props);
		consumer.subscribe(Arrays.asList("topic1"), new ConsumerRebalanceListener() {
			@Override
			public void onPartitionsRevoked(Collection<TopicPartition> collection) {
			}
			@Override
			public void onPartitionsAssigned(Collection<TopicPartition> collection) {
				// 将偏移设置到最开始:每次启动都从头开始消费
				// consumer.seekToBeginning(collection);
			}
		});
		while (true) {
			ConsumerRecords<String, String> records = consumer.poll(100);
			for (ConsumerRecord<String, String> record : records) {
				System.out.printf("offset = %d, key = %s, value = %s%n", record.offset(), record.key(), record.value());
			}
		}
	}

	private static void shengchanzhe() {
		Properties props = new Properties();
		props.put("bootstrap.servers", "127.0.0.1:9092");
		props.put("acks", "all");
		props.put("retries", 0);
		props.put("batch.size", 16384);
		props.put("linger.ms", 1);
		props.put("buffer.memory", 33554432);
		props.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer");
		props.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer");
		Producer producer = new KafkaProducer<Integer, String>(props);
		int i = 0;
		while (true) {
			// i=666;
			if (i > 5) {
				break;
			}
			producer.send(new ProducerRecord<String, String>("topic1", "key" + i, "message: " + i++));
			try {
				TimeUnit.SECONDS.sleep(1);
			} catch (InterruptedException e) {
				e.printStackTrace();
			}
			System.out.println("MyProducer.main _" + i);
			
		}
	}
}

一个生产者，多个消费者（消费的数据相同），配置多个group id监听同一个topic

public static void main(String[] args) {
		new Thread(() -> xiaofeizhe("test-group1")).start();
		new Thread(() -> xiaofeizhe("test-group2")).start();
}

在这里插入图片描述

运行原理

生产者发送消息到主题（topic），消费者订阅主题（消费组名义订阅groupid），主题下是分区，消息存储在分区中
事实上：生产者将消息发送到分区中，消费者从分区读取消息
主题的分区数量，默认1，可在配置文件server.properties修改 num.partitions=2
每个主题可以设置自己的分区，不设置则用默认分区数量
一个消息只能被同一组（groupId）的一个消费者消费
消费者订阅主题，主题下所有的分区都会被组中的消费者消费到，意味着 主题下的每个分区只从属于组中的一个消费者，不可能出现组中的两个消费者负责同一个分区
分区数 >= 组中消费者实例 （否则相当于多线程调用一个消息，会造成消息处理重复）