一、拦截器剖析
### --- 拦截器
~~~ # Producer拦截器(interceptor)
~~~ 和Consumer端Interceptor是在Kafka 0.10版本被引入的,
~~~ 主要用于实现Client端的定制化控制逻辑。
~~~ # 对于Producer而言,
~~~ Interceptor使得用户在消息发送前以及Producer回调逻辑前有机会对消息做一些定制化需求,
~~~ 比如修改消息等。同时,Producer允许用户指定多个Interceptor按序作用于
~~~ 同一条消息从而形成一个拦截链(interceptor chain)。Intercetpor的实现接口是
![](https://i-blog.csdnimg.cn/blog_migrate/a4e7df9314e5a1228130d34f7dbed230.png)
### --- org.apache.kafka.clients.producer.ProducerInterceptor,其定义的方法包括:
~~~ # onSend(ProducerRecord):
~~~ 该方法封装进KafkaProducer.send方法中,即运行在用户主线程中。
~~~ Producer确保在消息被序列化以计算分区前调用该方法。
~~~ 用户可以在该方法中对消息做任何操作,
~~~ 但最好保证不要修改消息所属的topic和分区,否则会影响目标分区的计算。
~~~ # onAcknowledgement(RecordMetadata, Exception):
~~~ 该方法会在消息被应答之前或消息发送失败时调用,
~~~ 并且通常都是在Producer回调逻辑触发之前。onAcknowledgement运行在Producer的IO线程中,
~~~ 因此不要在该方法中放入很重的逻辑,否则会拖慢Producer的消息发送效率。
~~~ # close:
~~~ 关闭Interceptor,主要用于执行一些资源清理工作。
~~~ 如前所述,Interceptor可能被运行在多个线程中,因此在具体实现时用户需要自行确保线程安全。
~~~ # 另外倘若指定了多个Interceptor,
~~~ 则Producer将按照指定顺序调用它们,
~~~ 并仅仅是捕获每个Interceptor可能抛出的异常记录到错误日志中而非在向上传递。
~~~ 这在使用过程中要特别留意。
二、自定义拦截器
### --- 创建一个maven项目:demo-07-kafka-customInterceptor
~~~ # 自定义拦截器:
~~~ 实现ProducerInterceptor接口
~~~ 在KafkaProducer的设置中设置自定义的拦截器
### --- 导入pom.xml依赖
<dependencies>
<dependency>
<groupId>org.apache.kafka</groupId>
<artifactId>kafka-clients</artifactId>
<version>1.0.2</version>
</dependency>
</dependencies>
### --- 拦截器官方实现
~~~ ProducerInterceptor
public interface ProducerInterceptor<K, V> extends Configurable {
/**
* This is called from {@link org.apache.kafka.clients.producer.KafkaProducer#send(ProducerRecord)} and
public ProducerRecord<K, V> onSend(ProducerRecord<K, V> record); //onSend方法
public void onAcknowledgement(RecordMetadata metadata, Exception exception); //onAcknowledgement方法
### --- ConsumerInterceptors
public class ConsumerInterceptors<K, V> implements Closeable {
private static final Logger log = LoggerFactory.getLogger(ConsumerInterceptors.class);
private final List<ConsumerInterceptor<K, V>> interceptors;
public ConsumerInterceptors(List<ConsumerInterceptor<K, V>> interceptors) {
this.interceptors = interceptors;
}