springboot集成kafka

先导入依赖：

<dependency>
 	<groupId>org.springframework.kafka</groupId>
    <artifactId>spring-kafka</artifactId>
</dependency>

controller层：

@RestController
public class KafkaTest {

	@Autowired
	private KafkaProvider kafkaProvider;
	
	@RequestMapping("/test/{time}")
	public void test(@PathVariable(name = "time")String time) {
		Integer timei = Integer.parseInt(time);
		kafkaProvider.send(timei);
	}
}

生产者provider：

@Service
public class KafkaProvider {

	@Autowired
	private KafkaTemplate<String, Object> kafkaTemolate;
	
	public void send(Integer time) {
		//Properties proper = new Properties();
		//proper.put("partitioner.class", "com.wencheng.test.KafkaPartititons");
		for(int i = 1; i<= time; i++) {
			kafkaTemolate.send("TopicDemo", "<>"+i+"<>");
			System.err.println("<>1<>----发送------------------->"+i);
		}
	}
}

消费者consumer：

@Component
public class KafkaConsumer {

	@KafkaListener(topics = "TopicDemo")
	public void acquire(ConsumerRecord<?, ?> record, Acknowledgment ack) throws InterruptedException {
		System.out.println("<>1<>----获取----"+record.value()+"----分区----"+record.partition()+"----指针----"+record.offset());
		ack.acknowledge();//手动提交指针
	}
}

application.properties中的内容：

#============== kafka ===================

#指定kafka server的地址，集群配多个，中间，逗号隔开
spring.kafka.bootstrap-servers=172.20.223.169:9092,172.20.223.170:9092,172.20.223.172:9092

#=============== provider  =======================

#写入失败时，重试次数。当leader节点失效，一个repli节点会替代成为leader节点，此时可能出现写入失败，
#当retris为0时，produce不会重复。retirs重发，此时repli节点完全成为leader节点，不会产生消息丢失。
spring.kafka.producer.retries=3

#每当多个记录被发送到同一分区时，生产者将尝试将记录一起批量处理为更少的请求， 
#这有助于提升客户端和服务器上的性能，此配置控制默认批量大小（以字节为单位），默认值为16384
spring.kafka.producer.batch-size=16384

#produce积累数据一次发送，缓存大小达到buffer.memory就发送数据
spring.kafka.producer.buffer-memory=33554432

#procedure要求leader在考虑完成请求之前收到的确认数，用于控制发送记录在服务端的持久化，其值可以为如下：
#acks = 0 如果设置为零，则生产者将不会等待来自服务器的任何确认，该记录将立即添加到套接字缓冲区并视为已发送。在这种情况下，无法保证服务器已收到记录，并且重试配置将不会生效（因为客户端通常不会知道任何故障），为每条记录返回的偏移量始终设置为-1。
#acks = 1 这意味着leader会将记录写入其本地日志，但无需等待所有副本服务器的完全确认即可做出回应，在这种情况下，如果leader在确认记录后立即失败，但在将数据复制到所有的副本服务器之前，则记录将会丢失。
#acks = all 这意味着leader将等待完整的同步副本集以确认记录，这保证了只要至少一个同步副本服务器仍然存活，记录就不会丢失，这是最强有力的保证，这相当于acks = -1的设置。
#可以设置的值为：all, -1, 0, 1
spring.kafka.producer.acks=1

#指定消息key和消息体的编解码方式
spring.kafka.producer.key-serializer=org.apache.kafka.common.serialization.StringSerializer
spring.kafka.producer.value-serializer=org.apache.kafka.common.serialization.StringSerializer

#=============== consumer  =======================
#指定默认消费者group id --> 由于在kafka中，同一组中的consumer不会读取到同一个消息，依靠groud.id设置组名
spring.kafka.consumer.group-id=testGroup

#zookeeper中没有初始化的offset时，如果offset是以下值的回应
#latest：自动复位offset为latest的offset
#earliest：自动复位offset为earliest的offset
#none：向consumer抛出异常
spring.kafka.consumer.auto-offset-reset=latest

#enable.auto.commit:true --> 设置自动提交offset
spring.kafka.consumer.enable-auto-commit=false

#如果'enable.auto.commit'为true，则消费者偏移自动提交给Kafka的频率（以毫秒为单位），默认值为5000。
spring.kafka.consumer.auto-commit-interval=1000

#指定消息key和消息体的编解码方式
spring.kafka.consumer.key-deserializer=org.apache.kafka.common.serialization.StringDeserializer
spring.kafka.consumer.value-deserializer=org.apache.kafka.common.serialization.StringDeserializer

#心跳与消费者协调员之间的预期时间
spring.kafka.consumer.heartbeat-interval=8000

#=============== listener  =======================

#监听器容器中运行的线程数
spring.kafka.listener.concurrency=1

#无反应的消费者检查之间的时间。如果未指定持续时间后缀，则将使用秒。
spring.kafka.listener.monitor-interval=4s

#监听器的提交模式,当spring.kafka.consumer.enable-auto-commit=false时改值生效
spring.kafka.listener.ack-mode=MANUAL_IMMEDIATE

#轮询消费者时使用的超时（以毫秒为单位）
spring.kafka.listener.poll-timeout=2000

provider发送消息到分区有默认的规则，如果需要改写规则，只需要实现Partitioner接口：

public class KafkaPartititons implements Partitioner{

	@Override
	public void configure(Map<String, ?> configs) {
		// TODO Auto-generated method stub
		
	}

	@Override
	public int partition(String topic, Object key, byte[] keyBytes, Object value, byte[] valueBytes, Cluster cluster) {
		...分区逻辑...
		return 3;//返回要指定的分区
	}

	@Override
	public void close() {
		// TODO Auto-generated method stub
		
	}

}

在provider中设置使用自己写的分区规则：

public void send(Integer time) {
		Properties proper = new Properties();
		proper.put("partitioner.class", "类路径");
		for(int i = 1; i<= time; i++) {
			kafkaTemolate.send("TopicDemo", "<>"+i+"<>");
			System.err.println("<>1<>----发送------------------->"+i);
		}
	}

点击查看kafka的搭建