flink连上了Kafka 却接收不到数据

最新推荐文章于 2023-09-12 15:44:07 发布
最新推荐文章于 2023-09-12 15:44:07 发布
阅读量2.7k 收藏 2
点赞数 2
分类专栏： Kafka 大数据 flink 文章标签： kafka flink
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/a4736123/article/details/116998171
版权
大数据 同时被 3 个专栏收录
11 篇文章 1 订阅
订阅专栏
Kafka
2 篇文章 0 订阅
订阅专栏
flink
2 篇文章 0 订阅
订阅专栏

**

flink连上了Kafka 却接收不到数据

**
首先在 kafka的 config/server.properties 里增加
注意是自己的IP地址
############################# Socket Server Settings #############################

listeners=PLAINTEXT://192.168.149.50:9092
host.name=192.168.149.50

然后在window地址里修改正确的IP地址
在这里插入图片描述
在这里插入图片描述
注意之后删除原先得broker信息和zookeeper连接信息，因为现在都是新地址了

然后重新连接，如果还是不行，注意把所有相关端口kill掉，或者直接重启

侠女 贝勒爷
关注
  • 2
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
Flinksql 读取kafka问题
huangrunxing的专栏
06-03 843
一个线上flink1.12 sql 读取kafka源的发现，刚开始用这个东西，发现了就及时记录，建kafka表的时候，字段名字要和toplic里面的字段一致，大小写要保持一致，不然读不到数据，er
flink连接kafka
01-20
1.启动zookeeper 在cmd中输入zkserver，成功启动页面 如下： org.apache.maven.plugins maven-compiler-plugin [3.1,) testCompile compile add-dependencies-for-IDEA idea.version org.apache.flink flink-java ${flink.version} compile o
Flink基础系列13-Source之从Kafka读取
热门推荐
只是甲的博客
10-20 1万+
文章目录一.环境介绍二.代码三.打包代码并执行参考: 一.环境介绍 环境介绍 本地测试环境搭建了CDH 6.3集群，集成了Kafka和Flink Maven配置 从官网找到的maven配置如下: <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-connector-kafka_2.11</artifactId> <version>1.9.0
flink1.11.0读取kafka数据写入hive中hive无分区信息及读取不到数据解决
m0_37592814的博客
08-29 4444
一、前言 在上一博客中写了flink1.11.0读取kafka数据写入到hive中，发现hive中无法查询flink通过scala写入的数据，搜了些资料查找原因，参考了下文章:https://zhuanlan.zhihu.com/p/157899980里无法读取hive数据的原因，但里面比较明确给出的解决方案是修改源码，我觉得太麻烦了。查了下官方和阅读些flink源码，终于找到一种我认为比较便捷的解决方案，具体分析方法如下： 完整的flink读取kafka数据动态写出hive，实现实时数仓的代码dem.
记一次线上环境flink任务连接kafka失败的问题
Lhm00913的博客
04-19 978
flink无法连接kafka导致flink任务一直重启
flink读不到kafka数据问题
微电子学与固体电子学-俞驰
06-26 4196
[1]搭建集群 [2]测试kafka集群没问题后, 根据[3]中开始用flink消费kafka数据,发现啥也么有 调试办法如下: ①去$KAFKA/logs下面看了下,是有相关主题的文件夹生成的. ②/kafka-console-consumer.sh --bootstrap-server Desktop:9091,Laptop:9092,Laptop:9093 --topic test-0921 依然没有数据 ③./kafka-console-consumer.sh --bootstrap.
使用flink table api 从kafka中读取数据,kafka数据无法读取错误
搬砖的鱼的博客
12-22 978
kafka正常启动，flink无法消费，也不报错 解决办法：配置属性为从所有分区的最新偏移量开始读取startFromLatest() package com.atguigu.apitest.tabletest /*import org.apache.flink.api.scala.ExecutionEnvironment import org.apache.flink.streaming.api.scala._ import org.apache.flink.table.api.{DataTypes,
Flink因Kafka数据问题造成异常无法运行的解决思路
Jomly Kellenda的博客
09-18 2547
状况描述： Flink从Kafka中消费数据，发现fail了，直接重启之后，跑了5分钟还是fail，怀疑是数据问题。 再次重启之前，把消费者的group-id改了，新的group-id下重启Flink，跑了很久都没fail。 分析： 旧的group-id记录了消费点，新的group-id获取了latest数据，因此可以继续正常运行。 处理方案： 1、保证程序继续运行，用新的group-id继续跑，把数据读到原有的正式ES库； ...
生产上的坑才是真的坑 | 盘一盘Flink那些经典线上问题
微信搜：import_bigdata，大数据领域硬核原创作者
03-18 1120
点击上方蓝色字体，选择“设为星标”回复”资源“获取更多资源数据倾斜导致子任务积压业务背景一个流程中，有两个重要子任务：一是数据迁移，将kafka实时数据落Es，二是将kafka数据做窗口聚...
记录一次kafka -＞ flink无数据的坑
博客
12-18 758
kafka 到 flink ,在flink TM的Logs中： INFO org.apache.kafka.Clients.consumer.internals.AbstractCoordinator - Marking the coordinator ip:port (id : XXX rack: XXX) dead for group XXX 原因分析： 无法找到ip 解决方案： 配置hosts问题，将yarn节点ip与kafka节点ip配到hosts中即可。 ...
Flink入门：读取Kafka实时数据流，实现WordCount
01-07
本文主要介绍Flink接收一个Kafka文本数据流，进行WordCount词频统计，然后输出到标准输出上。通过本文你可以了解如何编写和运行Flink程序。 代码拆解 首先要设置Flink的执行环境： // 创建Flink执行环境 ...
Flink实时读取Kafka数据批量聚合（定时按数量）写入Mysql.rar
12-27
Flink实时读取Kafka数据批量聚合（定时/按数量）写入Mysql源码+kafka安装包+zookeeper安装包
flume+kafka+flink+mysql数据统计
04-20
flume+kafka+flink+mysql实现nginx数据统计与分析
Flink消费Kafka数据1
08-03
1. 实验环境 2. 资源购买 3. 开始实验
Flink读写kafka表报错集锦
weixin_47114055的博客
08-17 1503
##一、 报错字段：RowTime field should not be null, please convert it to a non-null long value. 原因：DDL里面的字段名称和kafka传过来的json中的key名称没有对应上（注意时间戳处理函数是否可用（是否除以1000），官网不一定准确，可以测试一下，会导致字段不匹配）。 解决方案：认真检查DDL中字段，字段没有问题，考虑怀疑有关的函数使用，确保和kafka中的json的key名称一致。 ##二、 报错字段：KeeperErr
Flink实时数仓---1，Flink SQL读取kafka实操，已经遇到的问题.....持续更新吧
qq_31866793的博客
05-20 3758
1，第一步很重要就是依赖的问题，因为是本地执行，所以最好有hadoop配置环境，没有的话会提示错误信息，自己百度一下，自己下载个winutils.exe ，然后配置环境变量 2，为了图方便直接贴上pom文件依赖（自己看哈，就是hive跟hadoop的依赖）： <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xm...
Flink1.16整合Kafka
最新发布
09-12 412
对于大多数流数据处理应用程序而言，能够使用处理实时数据的代码重新处理历史数据并产生确定并一致的结果非常有价值。在处理流式数据时，我们通常更需要关注事件本身发生的顺序而不是事件被传输以及处理的顺序，因为这能够帮助我们推理出一组事件（事件集合）是何时发生以及结束的。例如电子商务交易或金融交易中涉及到的事件集合。为了满足上述这类的实时流处理场景，我们通常会使用记录在数据流中的事件时间的时间戳，而不是处理数据的机器时钟的时间戳。
庖丁解牛Flink和Kafka连接时的精确一次保证
zjjcchina的博客
07-04 127
预提交阶段数据已经写入，只是被标记为“未提交”（uncommitted），而Kafka中默认的隔离级别isolation.level是read_uncommitted，也就是可以读取未提交的数据。Flink与Kafka连接的两阶段提交，离不开检查点的配合，这个过程需要JobManager协调各个TaskManager进行状态快照，而检查点具体存储位置则是由状态后端（State Backend）来配置管理的。在任务运行中的任何阶段失败，都会从上一次的状态恢复，所有没有正式提交的数据也会回滚。
4.3、Flink任务怎样读取Kafka中的数据
向热爱自己一样，热爱这个世界。
08-11 4977
flink1.17 读取kafka 数据
flink不消费kafka数据怎么办
07-28
如果Flink不消费Kafka数据，可能有以下几个原因： 1. 检查Kafka集群的连接配置是否正确。确保在PROPS配置文件中正确设置了bootstrap.servers参数，指定了正确的Kafka集群的host和port。 2. 检查消费者所属的消费者组ID是否正确。在PROPS配置文件中，确保group.id参数设置为正确的消费者组ID。 3. 检查消费者的键和值的序列化方式是否正确。在PROPS配置文件中，确保key.deserializer和value.deserializer参数设置为正确的序列化方式。 4. 检查消费者的偏移量设置是否正确。在PROPS配置文件中，确保auto.offset.reset参数设置为正确的偏移量方式，比如earliest表示从最早的偏移量开始消费。 5. 检查Flink代码中的配置是否正确。确保在Flink代码中正确设置了Kafka的消费者和反序列化器。 如果以上步骤都检查过了，仍然无法消费Kafka数据，可以尝试查看Flink的日志文件，查找可能的错误信息。另外，还可以检查Kafka集群的状态，确保Kafka集群正常运行并且有可用的数据。 #### 引用[.reference_title] - *1* *2* *3* [flink实时消费kafka topic数据处理](https://blog.csdn.net/weixin_43930865/article/details/126626876)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control_2,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值