flink消费kafka消息，自定义keyselector

最新推荐文章于 2024-11-27 14:08:54 发布

方乐天

最新推荐文章于 2024-11-27 14:08:54 发布

阅读量786

点赞数

分类专栏： java后端文章标签： kafka flink 分布式

本文链接：https://blog.csdn.net/fangletian1981/article/details/126178593

版权

java后端专栏收录该内容

43 篇文章 0 订阅

订阅专栏

该博客介绍了如何通过自定义KeySelector策略，确保Kafka消息中具有相同url字段的内容被分配到同一个消费窗口进行处理。通过将消息体解析并提取url字段作为keyBy的依据，可以实现特定业务需求的窗口分组，从而保证同一url的消息由同一线程消费。

摘要由CSDN通过智能技术生成

为了能达到在不同的keyby/window中，能按照自定义的业务要求，把相同的消息分到同一个消费窗口，需要自定义keyselector，如本例中，我想要按照消息体中的url字段，把相同url字段的消息，用同一个线程来消费：写法为：

//通过自定义keyby selector，能保证相同url的新媒体消息，出现在同一个keyby/window窗口
        env.fromSource(newSource, WatermarkStrategy.noWatermarks(), "newPageSource")
                .keyBy((KeySelector<ConsumerRecord, Object>) consumerRecord -> {
                    String jsonStr = new String((byte[]) consumerRecord.value(),
                            StandardCharsets.UTF_8);
                    if (StrUtil.isNotBlank(jsonStr) && !"null".equals(jsonStr)) {
                        JSONObject jsonObject = JSONUtil.parseObj(jsonStr);
                        String url = jsonObject.getStr("url");
                        return url;
                    }

                    return "";
                }).addSink(newPageSink).name("newPageSink");