【Flink】记录一次Flink消费kafka写入Elastic在kerberos认证的情况下不消费问题

最新推荐文章于 2024-09-25 16:02:50 发布
最新推荐文章于 2024-09-25 16:02:50 发布
阅读量562 收藏 1
点赞数 1
分类专栏： 大数据-flink 文章标签： kafka flink 大数据
本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。
本文链接：https://blog.csdn.net/qq_21383435/article/details/125531104
版权
大数据-flink 专栏收录该内容
854 篇文章 860 订阅 ¥99.90 ¥299.90
订阅专栏
本文记录了一次在Flink从Kafka消费数据并写入到启用Kerberos认证的Elasticsearch过程中遇到的问题。尽管部分数据流能正常消费，但部分流在修改消费组后依然无法读取数据。经过排查，发现日志中未显示界面修改的消费组，并且任务在某些节点上运行时，与Elasticsearch认证相关的流出现异常。最终发现原因是Elasticsearch认证文件未正确分发，导致认证卡死但未报错。解决办法是重新分发认证文件，使得任务恢复正常。
摘要由CSDN通过智能技术生成

文章目录


在这里插入图片描述

哎 要放假了，我真的是心在曹营 身在汉，很想回家了，肿么办无心学习，指向跑路。

5Lmd5biI5YWE5ZSv5LiA5Y6f5Yib

哎 要放假了，我真的是心在曹营 身在汉，很想回家了，肿么办无心学习，指向跑路。

5Lmd5biI5YWE5ZSv5LiA5Y6f5Yib

哎 要放假了，我真的是心在曹营 身在汉，很想回家了，肿么办无心学习，指向跑路。

1.概述

最近在做Flink读取kafka写入到kerberos认证的Elastic，但是却发现kafka无法消费的情况。先说说我们的环境

flink节点
    node1 
     flink目录
     keytab目录
       jaas.conf
       es.keytab

然后我们分发文件到其他的机器
hdfs dananode节点
    node2 
     keyta
了解本专栏 订阅专栏 解锁全文
九师兄
关注
专栏目录
订阅专栏
【Flink】Flink 控制台能消费 但是 Flink 任务不能消费 内置topic 导致问题
九师兄
10-26 611
一个流任务，在其他环境都正常，但是有个环境突然不正常了，数据消费为0.【Flink】Flink source后全过滤数据导致监控数据为0然后一会直接排除了这个，我们这个没有做限制。然后又看看topic详情，发现topic是正常的。然后控制台消费，是正常的，然后去流任务看看日志，发现日志也是正常的，没有任何报错。【FLink】Flink 消费 kafka 消费组 死掉 Marking the coordinator dead for group 造成数据重复消费。
【Kafka】kafka 客户端 控制台 flink 都无法消费的情况
九师兄
06-24 745
Kafka : kafka无法消费的情况【Kafka】Kafka 奇怪问题之无法用Java 客户端消费我一个flink程序发布到页面后，发现不消费数据。但是我确信数据是有的lag也是存在的，而且使用earliest也不能消费。然后把包换到其他环境是能消费的。然后我本地控制台尝试消费，第一次能消费，然后再次试试就不能消费了然后查看topic详情，发现topic没有任何异常然后试试重启任务。没用修改消费组。没用重启 kafka 没用最后放大招，物理删除 topic然后重建，没用。
Flink AsyncFunction导致的Kafka数据不消费
微信搜：import_bigdata，大数据领域硬核原创作者
01-03 1455
大数据技术与架构点击右侧关注，大数据开发领域最强公众号！暴走大数据点击右侧关注，暴走大数据！问题描述flinksql从kafka读取数据，异步函数加载Mysql数据进行维表关联，最后将数...
Flink和Spark程序读写kafka的Kerberos认证
最新发布
Mrerlou的博客
09-25 190
这里需要注意的是，由于kafka认证需要的keytab是在executor端，所以需要通过–files参数来提交keytab文件，自动分发到所有executor的工作目录里，所以sasl.jaas.config里只需要指定文件名称就可以，不需要把所有nodemanager节点都手动放一份keytab文件，有些同学不懂–files原理，经常干这事。然后，在consumer和producer的配置参数中使用sasl.jaas.config配置keytab认证。此处不再举例，可以参看以上Spark的配置。
记一次宕机造成的flink消费Kafka topic失败问题
好记性不如烂笔头
04-13 882
kafka报错：Error while fetching metadata with correlation id 72 ：{topic=LEADER_NOT_AVAILABLE}
记录一次Flink消费Kafka空转，无法拉取消息，checkpoint也能成功，但是位置点却不提交的异常处理
DL_jianglin的博客
02-09 894
Flink消费Kafka空转，无法拉取消息。flink空转不是flink的问题，而是kafka客户端版本与集群版本不匹配导致的
Flink消费Kafka并在Kerberos认证环境下写入Elasticsearch的问题及解决方案
AlianBlank的博客
08-20 353
通过正确配置Kafka和Elasticsearch的Kerberos认证，并在Flink任务中添加相应的Kerberos配置，可以顺利解决在Kerberos环境下的消费问题。本文将详细介绍在Kerberos认证环境下，使用Flink消费Kafka并将数据写入Elasticsearch的问题，并提供解决方案和相应的源代码示例。注意：上述示例代码中的一些配置需要根据实际情况进行修改，例如Kafka和Elasticsearch的地址、Kerberos认证的配置、索引名称和类型等。希望本文对您有所帮助！
logstash、kafka、hdfs、kerberos整合
文报的博客
04-09 1304
1.logstash整合kerberos kafka input { beats{ port => 5044 } } output { kafka { bootstrap_servers => "datanode1.cloudera.yijiupidev.com:9092" security_pr...
Flink与Redis集成：自定义连接器实现维表创建与数据汇入
击水三千里的专栏
01-31 711
本文详细介绍了如何在Apache Flink中通过自定义连接器与Redis进行数据交互，包括创建Redis维表和实现数据汇入。文章展示了如何利用现有的Redis连接器和Flink的动态表特性，通过自定义的Source和Sink，实现流式数据与Redis维表的实时Join操作，以及如何将数据批量写入Redis。此外，还探讨了如何通过缓存优化和复用现有格式来提高性能。
Java开发面试题精选：Kafka相关一篇全搞定
凡夫编程
05-19 488
在Java开发工程师面试中，特别是涉及到Apache Kafka的部分，面试官可能会从基础知识、架构理解、实际应用、故障排查和性能优化等多个维度来考察您的能力。这篇文章会将一些大概率被问到的面试题目梳理出来，并且告诉应该怎么回答它，不管你求职者在准备面试，还是面试官在准备招聘，这篇文章都非常值得一读，感觉还不错，别忘了收藏起来，以防迷路找不到。
flink无法消费kafka消息的一次问题记录
菜鸟很菜的专栏
03-15 4247
flink无法消费kafka的消息，本地开发时也没有错误信息打印，后来排查到注掉addsink()后就可以消费到消息； 继续排查发现是写入hbase的配置中，由于地址无法连通导致的。 ...
Flink在CDH配置部署及读取kafka的实例验证；
05-06
CDH目前不带flink组件，文档为Flink在CDH集群上的配置部署及读取kafka的实例验证；
Flink Kafka消费者卡顿问题：消费组无法消费数据、无法写入指定topic？
code_welike的博客
08-30 806
本文介绍了Flink Kafka消费卡顿的问题，并提供了相应的解决方案。当消费组无法消费数据、导致topic无法写入时，可以通过增加消费者数量、调整消费者配置和检查网络及资源等方法来解决问题。希望以上内容对解决类似问题有所帮助。注意：本文中的示例代码仅供参考，请根据实际情况进行调整和优化。
Flink消费组遇到异常情况：Lag不变、Kafka不提交、重启恢复——探寻大数据背后的诡异现象
CodeHeroicX的博客
08-28 515
Flink消费组遇到异常情况：Lag不变、Kafka不提交、重启恢复——探寻大数据背后的诡异现象大数据处理中，Apache Flink是一个常用的分布式计算框架，而Apache Kafka则是广泛应用于实时数据流处理的分布式消息队列。然而，在使用Flink消费Kafka消息时，有时会遇到一些奇怪的问题，比如消费组死掉、Lag不变、Kafka不提交等。本文将深入探讨这些现象的原因，并提供相应的源代码作为参考。
Kafka 客户端、控制台和 Flink 无法消费数据的解决方案
2301_79366435的博客
09-17 527
确保将 “your_bootstrap_servers” 替换为实际的 Kafka 服务器地址，“your_consumer_group” 替换为您的消费者组，“your_topic” 替换为您要消费的主题。确保将 “your_bootstrap_servers” 替换为实际的 Kafka 服务器地址，“your_consumer_group” 替换为您的消费者组，“your_topic” 替换为您要消费的主题。例如，如果您的生产者发送的是字符串消息，则消费者的反序列化器也应该是字符串反序列化器。
flink kerberos
dian张
11-13 1652
security.kerberos.login.keytab: /usr/local/keytab/flink/flink.keytab security.kerberos.login.principal: flink/master@AQ.COM security.kerberos.login.contexts: Client,KafkaClient security.kerberos.login...
Flink读写Kerberos认证Kafka环境。
peidezhi的专栏
04-07 6108
Flink比较完美的支持kerberos读写Kafka. 1flink-conf.yaml , 将如下涉及kerberos的配置注解去除 2 代码读写kafka示例如下： def main(args: Array[String]): Unit = { val params: ParameterTool = ParameterTool.fromArgs(args)...
Flink跨集群访问Kerberos认证的Kafka
weixin_44088852的博客
09-06 434
该模块用来构建全局的loginUser。如果其他组件能使用改loginUser进行认证，则不需要单独配置证书。Flink提供三个模块来对集群进行安全验证，分别是HadoopModule、jaasModule、ZookeeperModule。hadoopModule用来对使用UserGroupInformation进行身份验证的框架进行认证配置。Flink组件启动时，先加载认证相关模块。在构建的安全上下文中，启动集群各个组件。根据构建的UserGroupInformation在doAs方法中启动集群。
Flink消费Kafka数据写入Elasticsearch
weixin_43861104的博客
07-17 910
本案例通过flink消费kafka数据，写入elasticsearch，自动生成索引，其中flink版本为1.10.0，es版本为6.4.3。 package com.bigdata.flink.sinks; import com.bigdata.project.utils.FlinkUtils; import org.apache.flink.api.common.functions.RuntimeContext; import org.apache.flink.api.common.serializ
flink消费kafka写入hbase
06-06
flink可以通过Kafka Consumer API来消费Kafka中的数据，然后使用HBase API将数据写入HBase中。具体的实现步骤如下： 1. 创建一个Kafka Consumer，通过指定Kafka的topic和相关的配置参数来消费Kafka中的数据。 2. 在flink中使用DataStream API来处理从Kafka中消费到的数据，可以进行各种数据转换和处理操作。 3. 使用HBase API来将处理后的数据写入HBase中，可以通过Table API或者HBase的Java API来实现。 4. 在flink中配置相关的checkpoint和容错机制，保证数据的可靠性和一致性。 需要注意的是，flink消费Kafka和写入HBase的具体实现方式会根据实际场景和需求而有所不同，需要根据具体情况进行调整和优化。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

九师兄

你的鼓励是我做大写作的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值