kafka学习(2)之java的生产者和消费者

添加依赖：

<dependency>
		<groupId>org.apache.kafka</groupId>
		<artifactId>kafka-clients</artifactId>
		<version>2.4.0</version>
</dependency>

生产者：

import java.util.Properties;

import org.apache.kafka.clients.producer.KafkaProducer;
import org.apache.kafka.clients.producer.Producer;
import org.apache.kafka.clients.producer.ProducerConfig;
import org.apache.kafka.clients.producer.ProducerRecord;
import org.apache.kafka.common.serialization.StringSerializer;
public class MyProducer
{
	public static void main(String[] args) throws Exception {
		Properties properties = new Properties();
		//设置broker的地址
		properties.setProperty(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG, "192.168.112.111:9092,192.168.112.111:9093");
		//设置发送序列化的key和value的序列化对象
		properties.setProperty(ProducerConfig.KEY_SERIALIZER_CLASS_CONFIG, "org.apache.kafka.common.serialization.StringSerializer");
		properties.setProperty(ProducerConfig.VALUE_SERIALIZER_CLASS_CONFIG, "org.apache.kafka.common.serialization.StringSerializer");
		//创建一个发送者producer
		Producer<String, String> producer = new KafkaProducer<>(properties);
		for (int i = 0; i < 10; i++)
		{
			//发送只有value的record
			ProducerRecord<String, String> record=new ProducerRecord<String, String>("mytopic1", "topic_"+i);
			//发送带有key的record
			//ProducerRecord<String, String> record=new ProducerRecord<String, String>("mytopic1","key_"+i ,"value_"+i);
			producer.send(record);
			Thread.sleep(1000);
		}
		//使用完后关闭发送者
		producer.close();
	}
}

消费者：

import java.time.Duration;
import java.util.Arrays;
import java.util.Properties;

import org.apache.kafka.clients.consumer.Consumer;
import org.apache.kafka.clients.consumer.ConsumerConfig;
import org.apache.kafka.clients.consumer.ConsumerRecord;
import org.apache.kafka.clients.consumer.ConsumerRecords;
import org.apache.kafka.clients.consumer.KafkaConsumer;

public class MyConsumer
{
	public static void main(String[] args) {
		Properties properties = new Properties();
		//设置broker的地址
		properties.setProperty(ConsumerConfig.BOOTSTRAP_SERVERS_CONFIG, "192.168.112.111:9092,192.168.112.111:9093");
		//创建分组
		properties.setProperty(ConsumerConfig.GROUP_ID_CONFIG, "group1");
		//设置接收的key的序列化对象和value的序列化对象
		properties.setProperty(ConsumerConfig.KEY_DESERIALIZER_CLASS_CONFIG, "org.apache.kafka.common.serialization.StringDeserializer");
		properties.setProperty(ConsumerConfig.VALUE_DESERIALIZER_CLASS_CONFIG, "org.apache.kafka.common.serialization.StringDeserializer");
		//创建consumer对象
		Consumer<String, String> consumer=new KafkaConsumer<>(properties);
		//订阅主题，如果有多个话，可以用逗号隔开
		consumer.subscribe(Arrays.asList("mytopic1"));
		while (true)
		{
		//使用Duration指定消费间隔，多长时间拉取一次消息
			ConsumerRecords<String,String> consumerRecords = consumer.poll(Duration.ofSeconds(2));
			for (ConsumerRecord<String, String> record : consumerRecords)
			{
				System.out.println("-------------------------------");
				System.out.println("topic: "+record.topic());
				System.out.println("partition: "+record.partition());
				System.out.println("offset: "+record.offset());
				System.out.println("timestamp: "+record.timestamp());
				System.out.println("key: "+record.key());
				System.out.println("value: "+record.value());
				System.out.println("-------------------------------");
			}
			
			
		}
	}
}

一些其他的配置参数：
生产者端的

/*
		 * ProducerConfig.ACKS_CONFIG：Server端接收到Producer发送的消息后，确认的机制
		  	0：  表示不需要Server进行确认，效率最高，可靠性最差
		    1：  表示需要leader进行确认，但不需要follower确认
		    all：表示需要leader和follower都需要确认：效率最差、但是最可靠
		 */
		/*
			ProducerConfig.RETRIES_CONFIG  发送消息失败后，重试的次数
		*/
		/*
			ProducerConfig.BATCH_SIZE_CONFIG 控制生产者批量发送消息的大小，提高客户端和服务器端的吞吐量
		*/
		/*
			ProducerConfig.LINGER_MS_CONFIG 指定发送消息的时间间隔
		*/
		/*
			ProducerConfig.BUFFER_MEMORY_CONFIG 发送缓冲区的大小
		*/

消费者端的：

//ConsumerConfig.ENABLE_AUTO_COMMIT_CONFIG 建议设置true，表示自动提交消费的进度
//ConsumerConfig.AUTO_COMMIT_INTERVAL_MS_CONFIG 自动提交消费进度的时间间隔 （毫秒）