CDH6.0 取消kerberos认证

 

 首先停止集群所有服务。

1   zookeeper

     1.1 enableSecurity取消勾选。

 

1.2 取消勾选sasl

2   HDFS

修改Hadoop的安全身份验证

第一个选为simple，第二个取消勾选

修改DataNode的数据目录权限为755（原值为700）

 

 

修改DataNode服务的端口号，分别修改为9866和9864（原值为1004 1006）

 

 

 

3  kafka取消kerberos认证

 

 

4 重启cloudera manager service  

 

5 启动集群。

 

6 遇见问题解决：

6.1 HDFS Failurecontroll

发现HDFS的failurecontroll启动失败。Failover Controller failed to start: Auth is not valid for /hadoop-ha/nameservoioice.....

问题原因是HDFS高可用无法读取zookeeper之前保存的高可用配置信息。

 步骤1修改： zookeeper配置项

Add -Dzookeeper.skipACL=yes configuration, save

重启zookeeper

步骤2  zkCli.sh 操作：（必须步骤1，否则下属操作没有权限）

  rmr /hadoop-ha/nameservice

重启 zookeeper

 

步骤3：

在namenode 节点执行：  hdfs zkfc -formatZK  重新往zookeeper 写入HDFS高可用配置信息

重新启动HDFS HA及Namenode问题解决

 

6.2HDFS permissions problem description

Diagnostics: Not able to initialize app directories in any of the configured local directories for app application_1497933181227_0003
solution

Execute in the nodemanager node: sudo rm -rf /data1/yarn/nm/usercache/ ../data4/yarn/nm/usercache/

 

 

6.3 测试过程运行MR，出现

ava.io.FileNotFoundException: File does not exist: hdfs://nameservice1/user/yarn/mapreduce/mr-framework/3.0.0-cdh6.0.1-mr-framework.tar.gz

 

 在 YARN (MR2 Included) -> action -> Install YARN MapReduce frame jar. 问题解决

 

 参考文章：http://www.programmersought.com/article/3446765421/