本地运行Flink-DIMAPP出现问题

问题提炼:在本地运行Flink读取云服务器Kafka中的topic显示
Timeout of 60000ms expired before the position for partition topic_db-0 could be determined

日志级别

通过将设置lof4j中rootLogger=info,error,stdout
更详细的发现问题所在
	虽然在本地程序中显式的指定了kafka所在服务器的外网地址,
但是在通过zookeeper寻找leader的时候还是默认使用了本地设置的hadoop104,
而这个hadoop104是本地内网ip,自然是连接不上的 所以出现读不出数据的情况
---------------------------------
解决办法也很简单 将本地host文件中对应的集群名改成云服务器即可
(留个坑)日后寻找一个一劳永逸的办法

Kafka读取Topic

默认的读取"auto.offset.reset"="latest"
即同一个消费者组读取Topic时,从最新的开始读
如果想从最开始读 如果是新想消费者组仅更改"auto.offset.reset"="earliest" 即可
但若是旧消费者组 更改了这个设置也没有用 之前的数据还是读取不到

启发

导致A问题的可能有很多,在网上搜索的不一定适合自己而且还消耗时间
最好的方法就是调取日志从根源来找问题 再进行搜索解决
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值