springboot集成整合kafka-消费过滤器、ConcurrentKafkaListenerContainerFactory

写在前面：各位看到此博客的小伙伴，如有不对的地方请及时通过私信我或者评论此博客的方式指出，以免误人子弟。多谢！

  今天记录一下消息过滤器的使用，消息过滤器可以让消息在抵达监听容器前被拦截，过滤器根据系统业务逻辑去筛选出需要的数据交由 KafkaListener 处理，不需要的消息则会过滤掉。使用消息过滤器也很简单，只要两步：1.定义一个过滤器；2.@KafkaListener注解中通过containerFactory属性引用即可。直接贴一下代码：

一、定义过滤器

/**
 * 消费者消息过滤器
 */
@Configuration
public class CustomKafkaSendFilter {
    // 监听器工厂
    @Autowired
    private ConsumerFactory consumerFactory;
    @Bean
    public ConcurrentKafkaListenerContainerFactory kafkaListenerContainerFactory(){
        ConcurrentKafkaListenerContainerFactory factory =
                new ConcurrentKafkaListenerContainerFactory();
        factory.setConsumerFactory(consumerFactory);
        factory.setConcurrency(3);
        factory.setBatchListener(true);
        // 被过滤的消息将被丢弃
        factory.setAckDiscarded(true);
        // 设置记录筛选策略
        factory.setRecordFilterStrategy(new RecordFilterStrategy() {
            @Override
            public boolean filter(ConsumerRecord consumerRecord) {
                String msg = consumerRecord.value().toString();
                if(Integer.parseInt(msg.substring(msg.length() - 1)) % 2 == 0){
                    return false;
                }
                // 返回true消息将会被丢弃
                return true;
            }
        });
        return factory;
    }
}

注意上面需要设置factory.setConcurrency(3)和factory.setBatchListener(true)，否则即使在yml文件中配置了这两项，批量消费依然不起作用。

一、引用过滤器

    /**
     * 测试消息过滤器
     */
    @KafkaListener(topics = {"mytopic"},containerFactory = "kafkaListenerContainerFactory")
    public void test(List<String> message){
        System.out.println("接收到的消息：" + message);

    }

三、测试下

新增测试方法：

    @Transactional
    @GetMapping("/send15")
    public void send15(){
        for (int i = 0; i < 20; i++) {
            kafkaTemplate.send(topic,i+"");
        }
    }

我们期望的是过滤器将发送消息为奇数的都过滤掉，消息监听器只处理偶数消息。

启动项目，访问http://localhost:8080/send15 结果如下： 

如上：从打印结果来看确实只接收处理了偶数部分消息，但咱之前批量消费设置的是每次拉取五条消息，为啥打印结果不是五条五条的呢，最开始的时候就说到：“消息过滤器可以让消息在抵达监听容器前被拦截”；也就是说消息都正常发送到kafka服务器，只是只监听消费满足过滤后剩下的消息。看下启动日志：

再次重启看下启动日志：

其实20条消息都提交到kafka服务器上了，并且也是五条五条的拉取的，只是在抵达监听器前过滤器给过滤掉了部分数据。