CDH/CDP中开启kerberos后如何访问HDFS/YARN/HIVESERVER2 等服务的webui

最新推荐文章于 2023-11-01 16:57:55 发布
最新推荐文章于 2023-11-01 16:57:55 发布
阅读量2k 收藏 3
点赞数
分类专栏： 大数据平台 数据安全 hive 文章标签： hdfs hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/MichaelLi916/article/details/127100991
版权

CDH/CDP中开启kerberos后如何访问HDFS/YARN/HIVESERVER2 等服务的webui

在CDH/CDP等大数据平台中，当开启kerberos安全后，如何访问HDFS/YARN/HIVESERVER2 等服务的webui呢？一起看下相关知识。

问题现象

在CDH/CDP等大数据平台中，当开启kerberos安全后，一些常见服务如 HDFS/YARN/HIVESERVER2 的webui， 无法访问，通过chrome浏览器访问时，报错 HTTP ERROR 403，Problem accessing xxx. Reason: java.lang.IllegalArgumentException。截图如下：

问题原因

大数据集群开启kerberos安全认证后，基于http协议访问常见服务如 hdfs/yarn/hiveserver2 等的webui时，这些服务在服务端大都有专门的参数可以控制是否使用启用 spnego（基于kerberos) 认证，当启用了 spnego

最低0.47元/天 解锁文章
明哥的IT随笔
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
【Kerberos】配置浏览器可访问开启了kerberos的ambari Web UI
人生所向，皆是美好
03-04 2252
开启了Kerberos后发现集群中好多webui界面都打不开了，需要认证 按下面步骤配置即可： 本机安装kerberos客户端 (mac默认就安装了) 下载/etc/krb5.conf到本机对应位置 下载/etc/security/keytabs/smokeuser.headless.keytab到本机 在本机执行kinit -kt smokeuser.headless.keyta...
Hadoop CDH5.5.0 配置（Hdfs/Yarn HA）
12-18
CDH5.5.0是CDH的一个版本，包含了Hadoop的多个组件，如HDFS、YARN等，并且提供了方便的图形化安装和配置工具，使得部署和管理Hadoop集群变得更加便捷。 在CDH5.5.0中，HDFS（Hadoop Distributed File System）和...
Windows 开启 Kerberos 的火狐 Firefox 浏览器访问yarn、hdfs
qq_43688472的博客
11-01 1145
host1.com.cn,host2.com.cn,host3.com.cn 写具体主机名，以逗号分隔。2、在搜索栏内输入 network.negotiate-auth.trusted-uris。3、在搜索栏内输入 network.auth.use-sspi，将值设置为 false。1、打开浏览器，地址栏输入 about:config。4、本地登陆 Kerberos。.com.cn，.通配符写法。5、访问 WebUI。
大数据问题排查系列-大数据集群开启 kerberos 认证后 HIVE 作业执行失败
明哥的IT随笔
09-05 918
大数据问题排查系列-大数据集群开启 kerberos 认证后 HIVE 作业执行失败 1 前言 大家好，我是明哥！ 本文是大数据问题排查系列 的 kerberos问题排查子序列博文之一，讲述大数据集群开启 kerberos 安全认证后，hive作业执行失败的根本原因，解决方法与背后的原理和机制。 以下是正文。 2 问题现象 大数据集群开启 kerberos 安全认证后，HIVE ON SPARK 作业执行失败。通过客户端 beeline 提交作业，报错 spark client 创建失败，其报错信息是： F
Hive Server2
qq_45275284的博客
03-26 392
概念 HiveServer2(HS2)是一个服务端接口，使远程客户端可以执行对Hive查询并返回结果。目前基于Thrift RPC的实现是HiveServer的改进版本，并支持多客户端并发和身份验证。 Hive与hiveServer的关系 hiveserver是hive与client端的交换终端，client通过hiveserver构建查询语句，访问hadoop，并把数据通过hiveserver返回到client端 hiveserver架构 hiveserver的核心是基于Thrift，Thrift负责h
解决Ambari启用Kerberos后HDFS/YARN/SPARK等页面无法打开问题
OMars的博客
08-23 3093
Ambari启用Kerberos认证后HDFS/YARN/SPARK等相关的组件的web页面都无访问了，提示要登录，401: Authorization required。 Ambari版本2.7.3.0 这个问题，可以通过两个办法解决 配置本机的kerberos认证，登录可以访问的user 配置组件服务的页面匿名访问 我本人使用的是Mac，自带了kerberos，但是使用前最好做一下版本更新 brew upgrade krb5 方法一 1.配置 可以将服务器krb5.conf配置放到本地默认目录下，
CDH6.3.2之Kerberos安全认证
ytp552200ytp的博客
11-12 2090
问题导读： 1、Kerberos认证原理是什么？ 2、Kerberos如何部署？ 3、CDH集群如何启用Kerberos？4、如何在Kerberos安全环境使用HFDS？ 01 PART Kerberos简介 Kerberos是一种计算机网络授权协议，用来在非安全网络中，对个人通信以安全的手段进行身份认证。这个词又指麻省理工学院为这个协议开发的一套计算机软件。软件设计上采用客户端/服务器结构，并且能够进行相互认证，即客户端和服务器端均可对对方进行身份认证。可以用于防止窃听、防止重放攻击、...
Java代码实现CDH远程监控所有HDFS节点磁盘空间和自动清除日志
最新发布
06-13
用Java语言结合JSch库，实现在单台机器上远程监控多台服务器上的HDFS状态、磁盘空间，并在必要时自动删除日志文件，以释放空间。 详细教程可以看：https://aigpt.blog.csdn.net/article/details/139625439
从CDH和HDP到CDP看大数据平台架构的演进.pptx
05-19
从CDH和HDP到CDP看大数据平台架构的演进 开源为什么需要企业支持？ CDH/HDP到CDP 为什么要使用CDP
cdh/cm6.2.1安装包
10-03
CDH-6.2.1-1.cdh6.2.1.p0.1425774-el7.parcel cm6.2.1-redhat7.tar.gz
CDH_5.15.1开启kerberos认证.docx
04-17
在CDH（Cloudera Distribution Including Apache Hadoop）环境中，开启Kerberos认证能够增强数据安全性，防止未授权的访问。本文将详细阐述如何在CDH 5.15.1上配置并启用Kerberos，以及Kafka在Kerberos环境下的配置...
Hive从2.0版本开始,关于hiveserver2的web UI管理页面的配置和使用
热门推荐
helloxiaozhe的博客
10-12 1万+
关于hiveserver2的web UI管理页面的配置和使用； 使用编程语言报错，怎么查找原因呢？除了编程语言本身的报错之外，其实hive的log日志里面的信息更加方便，有利于寻找错误的真正的原因，有个界面形式的hive程序运行日志web页面将是十分高效的！ 没错的，Hive从2.0版本开始，为HiveServer2提供了一个简单的WEB UI界面，界面中可以直观的看到当前链接的会话、历史日志、配置参数以及度量信息。
HiveServer2配置
qq_42952861的博客
07-22 820
HiveServer2作用： 为Hive提供了一种允许客户端远程访问的服务 基于thrift协议，支持跨平台，跨编程语言对Hive访问 允许远程访问Hive 配置规划： 节点 HiveServer2 client linux121 linux122 √ linux123 √ 配置步骤： 1、修改集群上的 core-site.xml，增加以下内容： vi $HADOOP_HOME/etc/hadoop/core-site.xml <!-- HiveServer2
解决Ambari启用Kerberos认证后NameNode UI 等页面无法打开问题
qq_33684569的博客
05-17 1709
Ambari启用Kerberos认证后NameNode UI， RESOURCEMANAGER ，Spark2 history server ui提示要登录， 如果Windows 和KDC是集成同一个Windows AD，那么可以通过AD账号登录打开页面，否则将提示：401:Authorization required。 这种情况可以配置页面匿名访问解决： --namenode ui 在HDFS -> Advanced core-site set hadoop.http.authentic...
Hadoop集成Kerberos安全服务器
qq_43541182的博客
03-16 1419
公司里要给Hadoop配置Kerberos，记录一下过程中遇到的问题。
开启 kerberos 后，HiveServer2 的 webui 没有内容的解决方案
houzhizhen的专栏
12-30 1029
开启 kerberos 后，HiveServer2 的 webui 没有内容。页面如下，可以打开，但是即便已经有会话，也有SQL执行，这里一直这样。
Ambari开启Kerberos后Web UI访问问题（修改配置）
cz124560的博客
03-23 3819
之前一篇文章讲过在本地kinit 然后再去访问kerberos。有失效时间 ，对于要长期获取jmx等场景并不太适用。 此文讲通过修改hdfs等组件配置 修改webui认证方式的方式 实现访问webui。 修改core-site中此配置为ture hadoop.http.authentication.simple.anonymous.allowed=true hadoop.http.authentication.type=simple hadoop.proxyuser.HTTP.groups=* ha
HDFS集群启动、YARN集群、简单操作演示
Z_Data的博客
11-07 2389
目录 启动集群 1、格式化HDFS 因为HDFS也是文件系统，第一次使用一个文件系统都要格式化 2、启动hdfs集群（注意启动集群时，最好将集群中所有机器的时间设置一致 3、启动yarn集群 4、使用web查看集群的状态 5、hdfs简单操作演示 6、系统自带mapreduce案例演示 启动集群 1、格式化HDFS 因为HDFS也是文件系统，第一次使...
HDFS、YARN、Mapreduce简介
weixin_34417814的博客
10-10 488
一、 HDFS介绍： Hadoop2介绍 HDFS概述 HDFS读写流程 1. Hadoop2介绍 Hadoop是Apache软件基金会旗下的一个分布式系统基础架构。Hadoop2的框架最核心的设计就是HDFS、MapReduce和YARN，为海量的数据提供了存储和计算。 HDFS主要是Hadoop的存储，用于海量数据的存储； MapReduce主要运用于分...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

明哥的IT随笔

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值