-
发送消息流程
生产者会创建一个ProducerRecord对象,该对象中包含主题和消息,也可以指定键和分区。在发送消息时候,生产者会将键和值序列化。
然后数据会传递给分区器,如果没有指定分区,那么分区器会根据键去选择一个分区,选好分区之后,这条消息会添加到一个批次中,当达到批次发送条件的时候,这个批次的数据会发送到指定的主题和分区上。
服务器接收到数据之后,会给一个响应,包含了主题及分区、偏移量信息。如果写入失败,会放回错误。生产者会尝试重新发送,如果一直失败,那么会放回错误信息。
-
发送消息的方式
- 忽略send方法的返回值,不做任何处理。
- 同步非阻塞发送。获取send方法返回值future对象,并调用其get方法获取放回信息。
- 异步发送。实现callback接口,然后作为实例传递给send方法。
producer.send(record, new Callback() {
@Override
public void onCompletion(RecordMetadata recordMetadata, Exception e) {
if (e != null) {
e.printStackTrace();
}
System.out.println(recordMetadata.offset() + ";;;" + recordMetadata.partition());
}
});
-
分区
发送消息的时候,键的用途有两个,一是根据键来决定消息写往哪个分区,二是作为消息的附加消息。
如果键为null,并且使用默认的分区器,那么分区器将使用轮询方式将消息分到各区。
如果不为null,并且使用默认的分区器,那么kafka会对键进行散列,然后根据散列值将消息映射到特定分区上。如果一旦添加或者删除了分区后,键与分区的对应关系就会发生改变,进行分区再均衡,而这段时间内,消费者是无法读取到消息的,所以分区一定要提前规划好,谨慎修改分区数量。
当然我们也可以自定义分区,根据自己的算法去处理消息与分区的对应关系。