Flink Kerberos Login

最新推荐文章于 2024-04-29 18:56:28 发布
最新推荐文章于 2024-04-29 18:56:28 发布
阅读量705 收藏 1
点赞数
分类专栏： Flink 文章标签： flink hadoop hdfs
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44865574/article/details/124941305
版权

我们在使用Flink时，如果遇到了Hadoop环境有Kerberos认证，可以直接在flink-conf.yaml文件中添加配置

security.kerberos.login.contexts: Client,KafkaClient
security.kerberos.login.use-ticket-cache: true
security.kerberos.login.keytab: /etc/security/keytab/hdfs.keytab
security.kerberos.login.principal: hdfs@HADOOP.COM
env.java.opts: -Djava.security.krb5.conf=/etc/krb5.conf -Djava.security.auth.login.config=hdfs://mycluster/tmp/kafka_jaas.conf
地球人是我哈
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
flink写入带kerberos认证的kudu connector
03-24
flink写入带kerberos认证的kudu connector
flinkx读取hdfs鉴权kerberos
zhu_19930414的博客
04-18 2306
flinkx 验证kerberos hdfs 鉴权，亲测可用
java实现flink订阅Kerberos认证的Kafka消息示例源码
04-16
java实现flink订阅Kerberos认证的Kafka消息源码
flink-sql集成rabbitmq
06-29
flink-sql集成rabbitmq
flink 1.14.4 源码下载
04-03
flink 1.14.4 源码下载
Flink读取HDFS上分的文本通过Kerberos认证
qq_32486597的博客
01-18 2234
Flink读取HDFS通过Kerberos
【Flink】Flink 源码之 安全认证 kerberos 认证
九师兄
01-16 4080
1.概述 这篇文章转载：Flink 源码之 安全认证 非常巧合的是，我上周用了2-4天才完成flink安全认证，还是没有搜过，任何安全相关的代码，完成了。结果今天就看到了。 本篇分析下Flink安全认证部分的处理方式。主要为Kerberos认证相关内容。下面从配置项开始分析。 2.SecurityConfiguration 此类包含了Flink安全认证相关的配置项。它们的含义如下： zookeeper.sasl.disable：是否启用Zookeeper SASL。 security.kerber.
计算机安全基础：认证技术知识笔记
IT技术分享社区
10-02 667
1、认证技术介绍认证技术主要是用来解决网络通信过程中通信双方身份的认可。认证的过程涉及加密和密钥交换。认证方一般都会有账户名、口令、使用摘要算法和基于PK...
flink程序设置kerberos认证——专业实用版
ilyomind的博客
02-19 4483
flink程序提交命令 flink run -d -m yarn-cluster \ -yD security.kerberos.login.keytab=/path/your/user.keytab \ -yD security.kerberos.login.principal=your@HADOOP.COM \ -c com.your.class.Name flink on yarn认证原理 将keytab文件自动上传hdfs，由yarn管理，分发给每个executor缓存token，定
flink cdc postgresql
04-07
flink cdc postgresql
【Flink】FLink session yarn kerberos认证报错 PortUnreachableException: ICMP Port Unreachable
九师兄
05-01 661
本篇博客是在上一篇博客：【Flink】FLink session yarn kerberos认证报错 KrbException: Cannot locate default realm还没找到原因的时候做的一次尝试。因为项目需要，我们需要对接华为认证的yarn集群，运行flink任务，我们的任务分为两种，yarn pre-job模式和flink session模式。我们在配置文件中配置如下# kerberos认证需要的东西提交任务的脚本如下。
Flink 读写Kafka总结
justlpf的专栏
07-06 943
总结Flink读写Kafka。
flink1.16读取hive数据存到es 本地和服务器上遇到的问题和解决思路
cclovezbf的博客
07-18 760
- hadoop 版本不需要引入，服务器的hadoop_home有 但是flink启动的时候缺少了hadoop-mapreduce-client-core-3.1.1.7.1.7.1046-1.jar这个jar-->我当时觉得就是缺少了hive的jar 还想ln-s 把CDH/hive/conf里的jar 引入到flink_home/lib里 发现真是错了。--需要引入3.1.2的jar 用的服务器3.1.3的版本会报错-->路径是没有问题的， kinit -kt 成功的。
Flink访问Kerberos环境下的Hive
weibokong789的博客
05-29 3569
本文主要介绍如何使用Flink访问Kerberos环境下的Hive。 测试环境 1.hive版本为2.1.1 2.flink版本为1.10.0 工程搭建 使用IDE工具通过Maven创建一个Java工程，具体创建过程就不详细描述了。 1.在工程的pom.xml文件中增加如下依赖 <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-java</artifa
Flink checkpoint 源码分析- Flink Checkpoint 触发流程分析
最新发布
TONIYH的博客
04-29 478
Flink的checkpoint的过程依赖于异步屏障快照算法，该算法在《Lightweight Asynchronous Snapshots for Distributed Dataflows》这篇paper中被提出。理解了这篇paper也就明白了flink的chekpoint机制。paper整体来说比较简单易懂，这篇博文主要是介绍flink中checkpoint触发流程。持续分析学习~
5、Flink事件时间之Watermark详解
猫猫爱吃小鱼粮
04-26 1424
Flink事件时间之Watermark详解
Flink学习（八）-Flink 集群搭建
a80C51的博客
04-23 446
装好 jdk 等必要的组件。注意，由于本身没有额外的 dns做转发。因此，需要在每台机器的 host 文件里，配置好相关 ip具体方法。
4、Flink执行模式（流/批）详解（下）
猫猫爱吃小鱼粮
04-25 638
Flink执行模式（流/批）详解（下）
阿里巴巴瓴羊基于 Flink 实时计算的优化和实践
Ververica的博客
04-26 2654
本⽂整理⾃阿里云智能集团技术专家王柳焮⽼师在 Flink Forward Asia 2023 中平台建设专场的分享。
Flink1.17 FlinkSQL
07-28
Flink 1.17 是 Apache Flink 的一个版本，而 FlinkSQL 是 Flink 中用于处理结构化数据的 SQL 查询语言。 在 Flink 1.17 中，FlinkSQL 经历了一些重要的改进和增强。其中一些亮点包括： 1. 支持 ANSI SQL 语法：...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值