Kafka笔记三之java操作

最新推荐文章于 2024-08-13 17:08:46 发布

臭小优

最新推荐文章于 2024-08-13 17:08:46 发布

阅读量2k

点赞数

分类专栏： Kafka 文章标签： kafka java

本文链接：https://blog.csdn.net/ty4315/article/details/70554664

版权

本文介绍了如何在Java中使用Kafka，包括配置Maven依赖、设置Kafka与Zookeeper的hosts，以及生产者、消费者和分区器的配置。强调了消费者按分区顺序消费消息和Kafka与Zookeeper的交互，特别是自动提交偏移量的配置。

摘要由CSDN通过智能技术生成

maven依赖，我使用的是版本是0.8.22，scala是2.11

<groupId>org.apache.kafka</groupId>

<artifactId>kafka_2.11</artifactId>

</dependency>

1.本地测试关闭防火器

2.在windows中配置kafka，zookeeper的host

C:\Windows\System32\drivers\etc\hosts文件

生产者

需要将producer.properties文件中的serializer.class参数由DefaultEncoder改为StringEncoder,不然会报错误

serializer.class=kafka.serializer.DefaultEncoder

serializer.class=kafka.serializer.StringEncoder

metadata.broker.list=shb01:9092,129.168.79.139:9092

package kafka;

import java.util.ArrayList;
import java.util.List;
import java.util.Properties;

import kafka.javaapi.producer.Producer;
import kafka.producer.KeyedMessage;
import kafka.producer.ProducerConfig;
/**
 * 生产者实例
 * @author think
 *
 */
public class ProducerTest {

	public static void main(String[] args) throws Exception {

		/**
		 * 属性参数,设置
		 * 方式1：config.setProperty("producer.type", "sync"); 可以手动设置生产者参数
		 * 方式2：直接加载kafka集群中的producer.properties
		 * 在producer.properties中指定broker List
		 * 		metadata.broker.list=shb01:9092,129.168.79.139:9092
		 */
		Properties config = new Properties();
		config.load(ProducerTest.class.getClassLoader().getResourceAsStream("p