kafka生产者

• 发送消息流程

    生产者会创建一个ProducerRecord对象，该对象中包含主题和消息，也可以指定键和分区。在发送消息时候，生产者会将键和值序列化。

    然后数据会传递给分区器，如果没有指定分区，那么分区器会根据键去选择一个分区，选好分区之后，这条消息会添加到一个批次中，当达到批次发送条件的时候，这个批次的数据会发送到指定的主题和分区上。

    服务器接收到数据之后，会给一个响应，包含了主题及分区、偏移量信息。如果写入失败，会放回错误。生产者会尝试重新发送，如果一直失败，那么会放回错误信息。

 

• 发送消息的方式

• 忽略send方法的返回值，不做任何处理。
• 同步非阻塞发送。获取send方法返回值future对象，并调用其get方法获取放回信息。
• 异步发送。实现callback接口，然后作为实例传递给send方法。

producer.send(record, new Callback() {
            @Override
            public void onCompletion(RecordMetadata recordMetadata, Exception e) {
                if (e != null) {
                    e.printStackTrace();
                }
                System.out.println(recordMetadata.offset() + ";;;" + recordMetadata.partition());
            }
        });

 

• 分区

    发送消息的时候，键的用途有两个，一是根据键来决定消息写往哪个分区，二是作为消息的附加消息。

    如果键为null，并且使用默认的分区器，那么分区器将使用轮询方式将消息分到各区。

    如果不为null，并且使用默认的分区器，那么kafka会对键进行散列，然后根据散列值将消息映射到特定分区上。如果一旦添加或者删除了分区后，键与分区的对应关系就会发生改变，进行分区再均衡，而这段时间内，消费者是无法读取到消息的，所以分区一定要提前规划好，谨慎修改分区数量。

    当然我们也可以自定义分区，根据自己的算法去处理消息与分区的对应关系。