aws kafka_流使用者无法使用AWS MSK Kafka

最新推荐文章于 2024-07-22 20:29:10 发布

cunxiedian8614

最新推荐文章于 2024-07-22 20:29:10 发布

阅读量571

点赞数

文章标签： java react kafka debug 分布式

原文链接：https://dev.to/bob565656/streams-consumer-not-working-for-aws-msk-kafka-4pep

版权

在AWS MSK（Kafka 2.2.1）上遇到问题，使用Kafka Streams无法消费事件。已尝试基本消费者代码能正常工作，但启用调试日志后发现有‘请求超时’错误。怀疑可能需要特定代理配置，但未找到解决方案。

摘要由CSDN通过智能技术生成

aws kafka

大家好，

我们目前正在使用AWS的MSK（Kafka 2.2.1）。这是一个3节点集群，我们可以成功地为其生成事件。

我们还可以使用一些基本的使用者代码（订阅或分配）来使用主题中的事件。

我想开始玩Kafka Streams，但对于我一生来说，我无法使该死的事情继续下去……它似乎不想消耗事件。我尝试用谷歌搜索此问题，但未找到任何结果。我发现的所有示例代码都是相同的，并且超级容易设置。

我想知道是否需要专门设置一些代理配置才能使流正常工作？我为流启用了调试日志记录，并且看到诸如“由于请求超时而从节点-2断开连接”之类的消息。代理URL设置正确（未使用localhost）。不太确定我在做什么错。这是我正在使用的示例代码

Properties props = new Properties();
props.setProperty(StreamsConfig.APPLICATION_ID_CONFIG, "test-stream-5");
props.setProperty(StreamsConfig.BOOTSTRAP_SERVERS_CONFIG, BROKER);
props.setProperty(StreamsConfig.DEFAULT_KEY_SERDE_CLASS_CONFIG, LongSerde.class.getName());
props.setProperty(StreamsConfig.DEFAULT_VALUE_SERDE_CLASS_CONFIG, StringSerde.class.getName());
props.setProperty(StreamsConfig.NUM_STREAM_THREADS_CONFIG, "1");

KStream<String, String> kstream = builder.stream("stream-test");
kstream.print(Printed.toSysOut());

try (KafkaStreams streams = new KafkaStreams(builder.build(), props)) {
    System.out.println("Starting");
    streams.start();

    for (int i = 0; i < 100; i++) {
        Thread.sleep(1000);
        System.out.println("Sleeping");
    }
}
System.out.println("Done");