flink 消费kafka的数据出现异常排查

3 篇文章 0 订阅

1、错误日志如下;

 

{
  "timestamp": "2022-01-27 17:07:55.680",
  "host": "gd12-k8s-noah-vrc-prod001-node-s0384",
  "message": "2022-01-27 17:07:49,041 INFO  org.apache.flink.kafka.shaded.org.apache.kafka.clients.FetchSessionHandler [] - [Consumer clientId=consumer-kafka_2_tendis_detail_gid-15, groupId=kafka_2_tendis_detail_gid] Node 4 was unable to process the fetch request with (sessionId=1381439767, epoch=1657025): FETCH_SESSION_ID_NOT_FOUND.",
  "path": "/apps/logs/log_receiver/ai-noah.vip.vip.com/tm-ord2tendis-all-flink-78988-gg7o5n-75f8448cc8-jbkcx/flink/dataeye/tm-ord2tendis-all.flink-78988.dataeye/ord2tendis-all.flink.bigdata.vip.com/task.log",
  "logLevel": "",
  "eventName": "",
  "logid": "8892444480957757",
  "threadName": ""
}

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Flink 中使用 Kafka 作为数据源可以通过 FlinkKafka Consumer 进行实现。下面是一个简单的 Flink 消费 Kafka 数据的代码示例: ```java import org.apache.flink.streaming.api.datastream.DataStream; import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment; import org.apache.flink.streaming.connectors.kafka.FlinkKafkaConsumer; import java.util.Properties; public class FlinkKafkaConsumerExample { public static void main(String[] args) throws Exception { // 设置执行环境 final StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); // 配置 Kafka Consumer Properties props = new Properties(); props.setProperty("bootstrap.servers", "localhost:9092"); props.setProperty("group.id", "test"); // 创建 FlinkKafkaConsumer FlinkKafkaConsumer<String> consumer = new FlinkKafkaConsumer<>("mytopic", new SimpleStringSchema(), props); // 将 Kafka Consumer 添加到 Flink 程序中 DataStream<String> stream = env.addSource(consumer); // TODO: 在这里添加对数据流的处理逻辑 // 执行 Flink 程序 env.execute("Flink Kafka Consumer Example"); } } ``` 上述代码中,我们首先使用 `StreamExecutionEnvironment` 创建执行环境。然后,我们设置 Kafka Consumer 的配置信息,并使用 `FlinkKafkaConsumer` 创建一个 Kafka Consumer 对象。最后,我们将 Kafka Consumer 添加到 Flink 程序中,使用 `env.addSource()` 方法将 Kafka 数据流转换为 Flink 数据流。接下来,我们可以在 `TODO` 标记处添加对数据流的处理逻辑。最后,我们调用 `env.execute()` 方法来执行 Flink 程序。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值