CDH6.x 禁用/关闭Kerberos认证、常见问题排查记录

最新推荐文章于 2023-01-16 17:39:40 发布
原创 最新推荐文章于 2023-01-16 17:39:40 发布 · 2.4k 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文提供了一步一步的指导，教你如何在CDH6.x集群中禁用Kerberos认证，包括修改HDFS、HBase、Hue等组件的配置，以及关闭KDC服务的方法。同时，针对禁用Kerberos后可能遇到的问题，如HBase、YARN、HDFS ZKFC等服务启动失败，提供了详细的解决方案。

CDH6.x 禁用/关闭Kerberos认证、常见问题排查记录

直接在CDHmanger页面更改，重启即可

HDFS

hadoop.security.authentication -> simple
hadoop.security.authorization -> 取消勾选
dfs.datanode.address -> 改成50010
dfs.datanode.http.address -> 改成50075
dfs.datanode.data.dir.perm –> 改成755
dfs.datanode.address -> 恢复默认50020
HBASE

hbase.security.authentication -> simple
hbase.security.authorization -> 取消勾选
hbase.thrift.security.qop -> none
Hue

删除角色KerberosTicket Renewer
ZooKeeper

enableSecurity  取消勾选

5. KDC服务关闭（如果需要）

cdh21 Kerberos 主体服务启动
先将集群各组件配置，改成禁用Kerberos，如上
然后点击下面的Delete Kerberos 的删除，假设会有其他组件没有改，要改成禁用Kerberos的时候
在这里插入图片描述

2. (出现问题再执行) 删除相应的ZNode目录：

rmr var/lib/zookeeper/vervison-1/*
hbase, RsouceManager, zkfc

  • 添加-Dzookeeper.skipACL=yes 关闭zk的权限检查配置项

打开zookeeper配置，搜索java关键字：
在这里插入图片描述

  • 添加-Dzookeeper.skipACL=yes 配置，保存
    在这里插入图片描述

  1. 重启zookeeper服务

  2. 登录zkcli:hbase zkcli

  3. 删除hbase znode:rmr /hbase

  4. 删除RM znode:rmr /rmstore/ZKRMStateRoot

  5. 删除zkfc znode:rmr /hadoop-ha/nameservice-test1

  6. 删除-Dzookeeper.skipACL=yes配置项

  7. 重启zookeeper及相应服务

问题排查

  1. HBase 问题描述

Caused by: org.apache.zookeeper.KeeperException$NoAuthException: KeeperErrorCode = NoAuth for /hbase/backup-masters/server01,60000,1526288840898
或
禁用kerberos后，重启hbase时报Authentication is not valid : /hbase 错误
解决方案

(1) Zookeeper Server 的 Java 配置选项中添加参数(跳过zk目录权限检查) :-Dzookeeper.skipACL=yes
(2) 删除zk元数据目录:hbase zkcli; rmr /hbase

参考链接：
https://www.zybuluo.com/xtccc/note/181910
http://community.cloudera.com/t5/Cloudera-Manager-Installation/Disabling-Kerberos-on-Cloudera-EXpress-5-5-1-HBase-issue/m-p/42482/highlight/true#M7622

  1. YRAN 问题描述

Resource Manager 启动失败：RMStateStore has been fenced,ResourceManager all standby.
解决方案

(1) Zookeeper Server 的 Java 配置选项中添加参数(跳过zk目录权限检查) :-Dzookeeper.skipACL=yes
(2) rmr /rmstore/ZKRMStateRoot
注：会丢失yarn应用执行信息。

  1. HDFS ZKFC问题描述

Failover Controller启动失败：Unable to start failover controller. Parent znode does not exist.
Run with -formatZK flag to initialize ZooKeeper.
解决方案

(1) Zookeeper Server 的 Java 配置选项中添加参数(跳过zk目录权限检查) :-Dzookeeper.skipACL=yes
(2) rmr /hadoop-ha/nameservice-test1
(3) 重新deploy客户端文件,确保nn主机core-site.xml中参数为simple方式访问集群
(4) 登录namenode节点,执行:hdfs zkfc -formatZK 重新格式化zkfc

  1. HDFS权限 问题描述

Diagnostics: Not able to initialize app directories in any of the configured local directories for app application_1497933181227_0003
解决方案

在nodemanager节点执行:sudo rm -rf /hdfs/yarn/nm/usercache/（未启用kerberos前目录权限为yarn:yarn，启用后变成dengsc:yarn，导致权限不兼容）

  1. HBase Thrift Server 起不来，报错
    HBase Thrift 的验证方式别忘记改回none,然后保存
0596-6.2.0-如何在CDH6.2中禁用Kerberos
Hadoop_SC的博客
10-28 828
Fayson的github： https://github.com/fayson/cdhproject 推荐关注微信公众号：“Hadoop实操”，ID：gh_c4c535955d0f 1 文档编写目的 Fayson在前面的文章介绍了如何为CDH集群启用Kerberos，在集群启用Kerberos后，会对现有环境的部分代码做改造，有些人觉得使用起来不方便，想取消Kerberos。本篇文章Fays...
CDH禁用kerberos
阿正的博客
03-27 4038
参考： https://blog.csdn.net/weixin_38367214/article/details/84970258 http://blog.sina.com.cn/s/blog_6dd718930102xqa2.html https://blog.csdn.net/lvtula/article/details/89021036（为重新启用kerberos认证，除了配置之外最...
CDH6.3生产环境中禁用Kerberos
h952520296的博客
01-16 1361
修改了网上相关文档的一些缺陷，在生产环境中实际使用过通过CM停止集群的所有服务服务停止成功修改Zookeeper的enableSecurity为false（取消勾选）将这项配置取消勾选修改HDFS配置修改Hadoop的安全身份验证第一个选为simple，第二个取消勾选修改DataNode的数据目录权限为755改DataNode服务的端口号，分别修改为50010和50075进入HBase服务修改配置修改HBase的身份验证第一个修改为simple，第二个取消勾选，第三个修改为none4。
【原创】大叔经验分享（40）hdfs关闭kerberos
weixin_30802171的博客
03-15 229
hadoop.security.authentication: Kerberos -> Simple hadoop.security.authorization: true -> false dfs.datanode.address: -> from 1004 (for Kerberos) to 50010 (default) dfs.datanode.http.addre...
CDH集群关闭Kerberos验证
sharkdoodoo
04-24 1696
说明：在CDH开启Kerberos(参见我之前写的CDH集群开启Kerberos安全认证 )之后可能会由于某些情况再次关闭，在关闭的需要注意一些地方，具体如下 HBase关闭： 修改hbase.security.authentication为simple 取消勾选hbase.security.authorization HDFS关闭和修改配置： 修改hadoop.security...
CDH6.3.2集成Elasticsearch7.9与Flink1.12编译包
本文基于所提供的文件信息——“es7.9+flink1.12基于CDH6.3.2编译之后的包”，深入剖析其背后的技术实现原理、集成难点、部署流程以及常见问题解决方案，尤其聚焦于Flink 1.12.2与Elasticsearch 7.9在CDH 6.3.2环境...
【CDH6.3.1集群搭建与维护】：麒麟v10-sp3环境下的全面指南
![基于麒麟v10-sp3离线搭建CDH6.3.1](https://www.kylinsec.com.cn/Uploads/Editor/2022-05-24/628c7debd2547.png) # 1. CDH6.3.1集群概述 ## 1.1 企业数据湖的...CDH6.3.1版本带来了多项改进和新特性，例如Apache S
CDH6.3.2环境构建速成：系统要求与依赖项深度解析
![CDH6.3.2环境构建速成：系统要求与依赖项深度解析]...同时，本文详尽阐述了CDH6.3.2核心组件及其依赖关系，组件版本兼容性，并提供了详细的环境搭建流程和调试步骤
CDH6.3.2安装必学：新手也能从零开始搭建集群的7步法
本文详细介绍CDH6.3.2集群的搭建过程，并对集群服务的优化与管理进行了深入探讨。首先，文章阐述了搭建CDH6.3.2集群前的准备工作，包括硬件和网络要求、操作系统安装配置以及JDK环境设置。接着，详述了软件包的安装...
Linux操作系统管理公共基础——积累
HEIKENZ的博客
06-09 4579
20170609 16:00 备注：本篇博文，借鉴新浪博客中用博文积累文学知识、英语词汇的好习惯的成功养成，这里同样是一篇知识积累型的博文，用于记录任何、各种关于Linux系统技术的新发现。这些技术多数比较零散，或者只是暂时不知道该怎样科学地、体系地分类，所有的这些琐碎、细小的技术发现都将记录存档到这里，随时更新。 20170609 16:00——16:25——16:34 关于环
CDH 开启Kerberos 问题
林快乐的博客
11-18 1454
1：nodemanager连接不上resourcemanager, 清除每个nodemanager的用户缓存 在每一个NodeManager节点上删除该用户的缓存目录，对于用户hdfs，是/data/data/yarn/nm/usercache/hdfs。该缓存目录在集群进入Kerberos状态前就已经存在了。例如当我们还没为集群Kerberos支持的时候，就用该用户跑过YARN应用。也许这是一个bug 2：使用 hdfs/namenode01@xxxCOM账户建立的账户才能访问hdfs账户下的权限，.
hadoop 添加kerberos认证
hua840812的专栏
03-21 4247
参考Cloudera官方文档：Configuring Hadoop Security in CDH3 一、部署无kerberos认证的Hadoop环境 参考另一篇笔记：hadoop集群部署 或者按照Cloudera的官方文档：CDH3 Installation Guide. 二、环境说明 1、主机名 之前部署hadoop集群时，没有使
CDH6.3.2之Kerberos安全认证
ytp552200ytp的博客
11-12 2362
问题导读： 1、Kerberos认证原理是什么？ 2、Kerberos如何部署？ 3、CDH集群如何启用Kerberos？4、如何在Kerberos安全环境使用HFDS？ 01 PART Kerberos简介 Kerberos是一种计算机网络授权协议，用来在非安全网络中，对个人通信以安全的手段进行身份认证。这个词又指麻省理工学院为这个协议开发的一套计算机软件。软件设计上采用客户端/服务器结构，并且能够进行相互认证，即客户端和服务器端均可对对方进行身份认证。可以用于防止窃听、防止重放攻击、...
【zookeeper】zookeeper 如何 关闭 kerberos认证 Exception while determining if ZooKeeper is secure
九师兄
10-30 955
【zookeeper】zookeeper源码 zookeeperz中Kerberos认证流程我们设置了.jaas文件和keytab文件。然后就认证成功了};.};.};.};.};.};然后后来要关闭zk认证。【zookeeper】zookeeper源码 zookeeperz中Kerberos认证流程设置了如下参数，然后别人的服务就可以了但是我的服务不可以。查看报错是经过查看是kafka报错这里首先获取系统变量是不是为true。然后获取是不是Client，如果。
Kerberos认证--图解
qq_46480020的博客
11-22 1094
kerboros认证
CDH启用kerberos认证
eyeofeagle的博客
01-20 6802
文章目录1，集群架构2, 安装kerberos服务3, CDH集群启用kerberosa, Administrator: securityb, Enable Kerberosc, 确认并勾选d, 填写kdc信息e, 略过CDH管理kerberos, 填写CDH管理员账号4, 使用kerberos认证，调用hive,hbase等服务 1，集群架构 角色 主机ip kerberos软件包 说明...
CDH构建大数据平台-配置集群的Kerberos认证安全
yangshaojun1992的博客
01-06 1592
当平台用户使用量少的时候我们可能不会在意集群安全功能的缺失，因为用户少，团队规模小，相对容易把控，开发人员直接也彼此了解。这时候只需要做好团队内部或是企业通过一些列行政管理手段就能管理好集群的安全问题。但是别忘了我们的平台定位可是作为一个单一的大数据来支持企业内部所有应用的。正所谓人上一百，形形色色。当平台用户达到一定数量之后其素质难免会参差不齐，大数据平台面对的也不再是一个小团队了。这时候靠团队...
99952 RunJar /opt/cloudera/parcels/CDH-6.2.1-1.cdh6.2.1.p0.1425774/bin/../lib/hive/lib/hive-service-2.1.1-cdh6.2.1.jar org.apache.hive.service.server.HiveServer2 --hiveconf hive.query.redaction.rules=/opt/cloudera/parcels/CDH-6.2.1-1.cdh6.2.1.p0.1425774/bin/../lib/hive/conf/redaction-rules.json --hiveconf hive.exec.query.redactor.hooks=org.cloudera.hadoop.hive.ql.hooks.QueryRedactor --hiveconf hive.aux.jars.path=file:///opt/cloudera/parcels/CDH-6.2.1-1.cdh6.2.1.p0.1425774/lib/hive/lib/hive-hbase-handler-2.1.1-cdh6.2.1.jar,file:///opt/cloudera/parcels/CDH-6.2.1-1.cdh6.2.1.p0.1425774/lib/hbase/lib/htrace-core.jar,file:///opt/cloudera/parcels/CDH-6.2.1-1.cdh6.2.1.p0.1425774/lib/hbase/hbase-client.jar,file:///opt/cloudera/parcels/CDH-6.2.1-1.cdh6.2.1.p0.1425774/lib/hbase/hbase-hadoop2-compat.jar,file:///opt/cloudera/parcels/CDH-6.2.1-1.cdh6.2.1.p0.1425774/lib/hbase/hbase-hadoop-compat.jar,file:///opt/cloudera/parcels/CDH-6.2.1-1.cdh6.2.1.p0.1425774/lib/hbase/hbase-common.jar,file:///opt/cloudera/ 97267 RunJar /opt/cloudera/parcels/CDH-6.2.1-1.cdh6.2.1.p0.1425774/bin/../lib/hive/lib/hive-service-2.1.1-cdh6.2.1.jar org.apache.hive.service.server.HiveServer2 --hiveconf hive.query.redaction.rules=/opt/cloudera/parcels/CDH-6.2.1-1.cdh6.2.1.p0.1425774/bin/../lib/hive/conf/redaction-rules.json --hiveconf hive.exec.query.redactor.hooks=org.cloudera.hadoop.hive.ql.hooks.QueryRedactor --hiveconf hive.aux.jars.path=file:///opt/cloudera/parcels/CDH-6.2.1-1.cdh6.2.1.p0.1425774/lib/hive/lib/hive-hbase-handler-2.1.1-cdh6.2.1.jar,file:///opt/cloudera/parcels/CDH-6.2.1-1.cdh6.2.1.p0.1425774/lib/hbase/lib/htrace-core.jar,file:///opt/cloudera/parcels/CDH-6.2.1-1.cdh6.2.1.p0.1425774/lib/hbase/hbase-client.jar,file:///opt/cloudera/parcels/CDH-6.2.1-1.cdh6.2.1.p0.1425774/lib/hbase/hbase-hadoop2-compat.jar,file:///opt/cloudera/parcels/CDH-6.2.1-1.cdh6.2.1.p0.1425774/lib/hbase/hbase-hadoop-compat.jar,file:///opt/cloudera/parcels/CDH-6.2.1-1.cdh6.2.1.p0.1425774/lib/hbase/hbase-common.jar,file:///opt/cloudera/ 什么意思?
最新发布
10-11
在CDH - 6.2.1版本中，使用RunJar命令启动HiveServer2并结合相关配置，是为了让HiveServer2能够按照特定规则运行和处理查询。以下对相关配置进行解释： ### 配置参数解释 1. **hive.query.redaction.rules**：该配置项用于定义查询信息的过滤规则。在Hive处理查询时，可能会涉及到一些敏感信息，通过设置该规则可以对查询中的敏感信息进行过滤或替换，从而增强数据的安全性。例如，规则可以定义将查询中的某些关键字替换成特定的掩码字符，防止敏感数据泄露。 2. **hive.exec.query.redactor.hooks**：此配置指定了在查询执行过程中用于执行数据过滤的钩子函数。当Hive执行查询时，会调用这些钩子函数，按照`hive.query.redaction.rules`中定义的规则进行数据处理。可以将其理解为在查询执行流程中插入的一个处理环节，用于对查询信息进行过滤和保护。 3. **hive.aux.jars.path**：该配置用于指定Hive运行时所需的辅助JAR包的路径。Hive在运行过程中可能需要一些额外的依赖库，通过设置该路径，Hive可以找到并加载这些必要的JAR包，以支持特定的功能或操作。例如，在处理特定的数据格式或执行特定的算法时，可能需要额外的JAR包提供支持。 ### RunJar启动HiveServer2命令示例及配置关联 使用RunJar命令启动HiveServer2时，通常会在命令中结合这些配置信息，示例命令如下： ```bash hadoop jar /path/to/hive-jdbc.jar org.apache.hive.service.server.HiveServer2 \ --hiveconf hive.query.redaction.rules=/path/to/redaction_rules.conf \ --hiveconf hive.exec.query.redactor.hooks=com.example.RedactorHook \ --hiveconf hive.aux.jars.path=/path/to/aux_jars ``` 在上述命令中： - `--hiveconf hive.query.redaction.rules=/path/to/redaction_rules.conf`：指定了过滤规则的配置文件路径。 - `--hiveconf hive.exec.query.redactor.hooks=com.example.RedactorHook`：指定了执行过滤的钩子函数的类名。 - `--hiveconf hive.aux.jars.path=/path/to/aux_jars`：指定了辅助JAR包的路径。 ### 注意事项 不同的CDH版本中，这些配置的具体实现和使用方式可能会有所不同。在实际使用时，需要参考对应版本的官方文档进行准确配置。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值