Flink读取kafka的Topic，如果不存在就创建这个topic

最新推荐文章于 2024-04-11 20:48:58 发布

zs_bigdata

最新推荐文章于 2024-04-11 20:48:58 发布

阅读量385

点赞数

分类专栏： flink 文章标签： kafka flink java 大数据

本文链接：https://blog.csdn.net/m0_50670853/article/details/129818487

版权

flink 专栏收录该内容

8 篇文章 0 订阅

订阅专栏

该代码段展示了如何在Java中使用ApacheFlink动态检查并创建Kafka主题，然后构建KafkaSource。如果指定的topic不存在，程序会创建一个新的topic，并可配置其保留策略。之后，它会设置KafkaSource的相关参数，如bootstrap服务器、groupID、valuedeserializer等，最后返回DataStreamSource。

摘要由CSDN通过智能技术生成

代码如下

private static final ArrayList<String> createTTLTopics = Lists.newArrayList("real-time-screen-robot-work-count", "medical-device-status-history", "deviceStatusChange", "flink-test");

    /**
     * 功能描述: <br>
     * 〈自定义build,生产kafkaSource〉
     *
     * @Param: [env, topic, groupId, offsets]
     * @Return: org.apache.flink.streaming.api.datastream.DataStreamSource<java.lang.String>
     * @Author: sheng
     * @Date: 2022/5/31 11:15 上午
     */
    public static DataStreamSource<String> getNewKafkaSource(StreamExecutionEnvironment env,
                                                             JSONObject kafka,
                                                             String topic,
                                                             String groupId,
                                                             String sourceName,
                                                             OffsetsInitializer offsets) {
        // 1.15 之后需要新方法创建kafka source
        // 检查主题是否存在，如果不存在则创建它
        Properties adminProperties = new Properties();
        adminProperties.setProperty(AdminClientConfig.BOOTSTRAP_SERVERS_CONFIG, kafka.getString("boot_strap"));
        AdminClient adminClient = AdminClient.create(adminProperties);
        try {
            if (!adminClient.listTopics().names().get().contains(topic)) {
                NewTopic newTopic = new NewTopic(topic, 10, (short) 1);
                if (createTTLTopics.contains(topic)){
                	//可以传入你想要的参数
                    newTopic.configs(Collections.singletonMap("retention.ms", "86400000"));
                }
                adminClient.createTopics(Collections.singletonList(newTopic)).all().get();
                LOG.warn("一个 {} 发生. 创建了一个名为：{}的topic.", "warn",topic );
            }
        } catch (InterruptedException | ExecutionException e) {
            e.printStackTrace();
        }
        KafkaSource<String> source = KafkaSource.<String>builder()
                .setProperty("partition.discovery.interval.ms", "60000")
                .setClientIdPrefix(UUID.randomUUID().toString())
                .setBootstrapServers(kafka.getString("boot_strap"))
                .setTopics(topic)
                .setGroupId(groupId)
                .setValueOnlyDeserializer(new SimpleStringSchema())
                .setStartingOffsets(offsets)
                .build();

        return env.fromSource(source, WatermarkStrategy.noWatermarks(), sourceName);
    }