Hadoop集群kerbros认证取消主机未kdestory flink sql 写hive问题

已于 2022-06-15 17:50:28 修改
阅读量427 收藏
点赞数
分类专栏： 大数据 文章标签： flink sql hive
于 2022-06-10 17:09:37 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xiaohai798/article/details/122090836
版权

问题报错

以为是flink 配置的认证没有改回为simple

 

此报错 要注意把当前主机登陆的kerberos客户端销毁

解决

执行kdestroy

结果是flink local cluster StandaloneSessionClusterEntrypoint 需要重启 先杀掉进程

../bin/start-cluster.sh

并且把flink cluster重启 

果木
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
flink 1.14.4 集成 hive 3.12 的依赖包
03-22
flink 集成 hive 所需要的依赖包，包括 antlr-runtime-3.5.2.jar flink-connector-hive_...flink-sql-connector-hive-3.1.2_2.12-1.14.4.jar hive-exec-3.1.2.jar libfb303-0.9.3.jar 开箱即用，如果觉得好用请点个赞把
Kerberos 的安装和使用
u011250186的博客
11-25 3724
Kerberos 的安装和使用
Kerberos 入门与常用操作 浅析
张伯毅的专栏
02-27 2113
.一 .前言二 .Kerberos认证流程三 .Kerberos Principal四 .Kerberos的优点和不足4.1. 优点4.2. 不足五. KOC常用操作六.Client常用操作 一 .前言 Kerberos协议是 一种计算机网络授权协议， 用于在非安全的网络环境下对个人通信进行加密认证。 Kerberos 通过定义用户 和 服务端所使用的认证身份 (Principal) 来进行访问控制， 用户通过 Kerberos 客户端使用自己的 Principal 向认证服务器进行 身份的认证， 认证
kerberos 学习笔记
weixin_33912638的博客
09-21 524
2019独角兽企业重金招聘Python工程师标准>>> ...
kerberos 取消认证
HiuA_Sir的专栏
09-23 4393
登录7180管理平台，在各组件配置页面，执行下面操作 Hbase修改hbase.security.authentication为simple，取消勾选hbase.security.authorization HDFS修改hadoop.security.authentication为simple，取消勾选hadoop.security.authorization，将datanode的
大数据笔记，包含Hadoop、Spark、Flink、Hive、Kafka、Flume、ZK......
05-08
大数据笔记，包含Hadoop、Spark、Flink、Hive、Kafka、Flume、ZK...... 大数据笔记，包含Hadoop、Spark、Flink、Hive、Kafka、Flume、ZK...... 大数据笔记，包含Hadoop、Spark、Flink、Hive、Kafka、Flume、ZK.......
flink-sql-connector-hive-3.1.2_2.11-1.11.6.jar 已经解决guava冲突亲测可以
03-19
flink-sql-connector-hive-3.1.2_2.11-1.11.6.jar 已经解决guava冲突亲测可以
Hadoop集群监控与Hive高可用.pdf
08-21
Hadoop集群监控与Hive高可用 本文档主要介绍了Hadoop集群监控和Hive高可用的解决方案，涵盖了Cacti和Ganglia两种监控工具的优缺点、Hive高可用集群的实现方案、HAProxy的应用和优化。 一、Hadoop集群监控 1. ...
Hadoop集群搭建Hive的安装配置
最新发布
12-23
Hadoop是一个分布式文件系统，为大规模数据处理提供了基础架构，而Hive则是一个基于Hadoop的数据仓库工具，它允许用户使用SQL-like的语言（HQL）来查询和管理存储在Hadoop上的大数据集。本实验将指导你如何在已搭建...
CDH禁用kerberos
IT晓白
01-01 2411
1.停止服务 登录CM，点击[停止] 2.Zookeeper 进入zookeeper配置界面，在输入框中填入[Enable kerberos] 进行搜索. 启用Kerberos身份验证：取消勾选 Enable Server to Server：取消勾选 3.HDFS 进入hdfs配置界面 3.1 关闭安全认证 在输入框中填入[hadoop.security.auth] 进行搜索. hadoop安全授权：取消勾选 Hadoop安全身份验证：simple 3.2 目录权限 在输入框中填入[dfs.data
Flink访问Kerberos环境下的Hive
weibokong789的博客
05-29 3619
本文主要介绍如何使用Flink访问Kerberos环境下的Hive。 测试环境 1.hive版本为2.1.1 2.flink版本为1.10.0 工程搭建 使用IDE工具通过Maven创建一个Java工程，具体创建过程就不详细描述了。 1.在工程的pom.xml文件中增加如下依赖 <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-java</artifa
Flink SQL 在kerberos on yarn环境下提交
leiline的博客
09-25 1841
Flink SQL 作业在kerberos on yarn环境下提交
Flink on K8s与Hive on CDH Kerberos 认证
weixin_64431102的博客
04-25 912
flink在K8s环境下与Hive ON CDH 的kerberos认证问题。
Kerberos安全认证-连载10-Hive Kerberos 安全配置及访问
qq_32020645的博客
06-22 4051
技术连载系列，前面内容请参考前面连载9内容:​​​​​​​Hive底层数据存储在HDFS中，HQL执行默认会转换成MR执行在Yarn中，当HDFS配置了Kerberos安全认证时，只对HDFS进行认证是不够的，因为Hive作为数据仓库基础架构也需要访问HDFS上的数据。因此，为了确保整个大数据环境的安全性，Hive也需要配置Kerberos安全认证，这样可以控制对Hive和底层HDFS数据的访问权限，防止未经授权的访问和操作，确保数据的安全性。目前对HDFS进行了Kerberos安全认证后，在Hive。
10.4 hadoop安全性kerberos安全验证和委托令牌
baochunlei1的博客
03-01 998
1.1 安全性 HDFS的文件许可模块可以组织程序漏洞而毁坏文件系统，也能阻止运行hadoop fs –rmr删除文件指令，但是无法组织恶意的用户假冒root身份来访问或者删除数据。需要使用Kerberos实现用户认证。 1.1.1 Kerberos和Hadoop （1）客户端请求认证的步骤 1） 认证。客户端向认证服务器获取含时间票据授权票据（T...
Kerberos中常用命令和kinit -kt命令说明
多头注意力探索Now
05-28 6355
kerberos常用命令
flink-sql-1.15.4配置hive catalog和hbase基于CDH6.3.2和kerberos
h952520296的博客
02-02 1278
使用flink源码重新编译生成flink-sql-connector-hive-2.2.0_2.11，编译之前需要修改flink-sql-connector-hive-2.2.0中的pom文件，将hive-exec的版本改成2.1.1-cdh6.3.2。位置在flink-connectors/flink-sql-connector-hive-2.2.0/flink-sql-connector-hive-2.2.0_2.12-1.15.3.jar。有大佬能解决望赐教。java 我的版本和cdh使用的一致。
Flink1.11.2 使用SQL方式消费kafka写入Hive测试用例实践
欲望以提升热忱 毅力以磨平高山
11-26 2516
前言 提示：这里可以添加本文要记录的大概内容： 例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。 提示：以下是本篇文章正文内容，下面案例可供参考 一、pandas是什么？ 示例：pandas 是基于NumPy 的一种工具，该工具是为了解决数据分析任务而创建的。 二、使用步骤 1.引入库 代码如下（示例）： import numpy as np import pandas as pd import matplotlib.
大数据课程-Hadoop集群程序设计与开发-7.Hive数据仓库_lk_edit.pptx
01-01
"大数据课程-Hadoop集群程序设计与开发-7.Hive数据仓库_lk_edit.pptx" 本课程聚焦于大数据处理领域，特别是针对Hadoop集群的程序设计与开发。课程内容丰富，包括教学大纲、教案、教学设计、实训文档等，旨在帮助...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值