CDH6.2.0集群搭建详细教程（包含开启Kerberos与Sentry）

已于 2022-06-13 17:04:46 修改
阅读量3.4k 收藏 28
点赞数 2
分类专栏： 大数据 文章标签： cloudera 大数据 kerberos
于 2021-08-22 16:36:01 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/SUMU31707/article/details/119853486
版权

CDH6.2.0+Kerberos+Sentry安装过程详细记录

一、准备工作

CDH下载：

下载链接：https://pan.baidu.com/s/1NxdxXim0NyZdEjUVyPfyEQ
提 取 码：v20s

1、本文环境

名称CentOSJDKMySQLCMCDH
版本7.91.85.76.2.06.2.0

2、集群规划

IP主机名角色安装服务内存处理器
192.168.198.11dtb-tc-app11Mastercloudera-scm-server
cloudera-scm-agent		6G4
192.168.198.12dtb-tc-app12Slave1cloudera-scm-agent3G2
192.168.198.13dtb-tc-app13Slave2cloudera-scm-agent3G2

注意：内存和处理器建议分配大一点，由于笔者本地安装，电脑内存和处理器资源有限所以只能分配这么点

3、修改主机映射

3.1、Linux：修改三台服务器的/etc/hosts文件
[root@dtb-tc-app11 ~]# vim /etc/hosts

在这里插入图片描述

3.2、Windows：修改hosts文件，所在目录：C:\Windows\System32\drivers\etc

方便在Windows中直接使用 主机名 访问服务器节点

在这里插入图片描述

4、免密登录（方便后面做集群分发）

4.1、生成公钥和私钥
[root@dtb-tc-app11 ~]# ssh-keygen -t rsa

在这里插入图片描述

4.2、将公钥拷贝到需要进行免密登录的目标服务器上
[root@dtb-tc-app11 ~]# ssh-copy-id dtb-tc-app11
[root@dtb-tc-app11 ~]# ssh-copy-id dtb-tc-app12
[root@dtb-tc-app11 ~]# ssh-copy-id dtb-tc-app13

在这里插入图片描述

4.3、分别在dtb-tc-app12和dtb-tc-app13两台服务器上重复4.1和4.2的操作，使所有服务器之间可以免密登录
4.4、验证免密登录
[root@dtb-tc-app11 ~]# ssh dtb-tc-app11
Last login: Wed Jun  9 23:28:04 2021 from 192.168.198.1
[root@dtb-tc-app11 ~]# exit
logout
Connection to dtb-tc-app11 closed.
[root@dtb-tc-app11 ~]# ssh dtb-tc-app12
Last login: Wed Jun  9 23:13:34 2021 from 192.168.198.1
[root@dtb-tc-app12 ~]# exit
logout
Connection to dtb-tc-app12 closed.
[root@dtb-tc-app11 ~]# ssh dtb-tc-app13
Last login: Wed Jun  9 23:13:44 2021 from 192.168.198.1
[root@dtb-tc-app13 ~]# exit
logout
Connection to dtb-tc-app13 closed.
[root@dtb-tc-app11 ~]#

在这里插入图片描述

5、编写集群同步脚本

5.1、在/root目录下创建bin目录，并在bin目录下创建 xsync 文件
[root@dtb-tc-app11 ~]# mkdir bin
[root@dtb-tc-app11 ~]# cd bin/
[root@dtb-tc-app11 bin]# vim xsync
5.2、在 xsync 文件中加入如下内容：
#!/bin/bash
 
#1. 判断参数个数 
if [ $# -lt 1 ]
then
    echo Not Enough Arguement!
    exit;
fi

#2. 遍历集群所有机器
for host in dtb-tc-app11 dtb-tc-app12 dtb-tc-app13
do
    echo ====================  $host  ====================
    #3. 遍历所有目录，逐个发送
    for file in $@
    do
        #4. 判断文件是否存在
        if [ -e $file ]
            then
                #5. 获取父目录
                pdir=$(cd -P $(dirname $file); pwd)
                #6. 获取当前文件的名称
                fname=$(basename $file)
                ssh $host "mkdir -p $pdir"
                rsync -av $pdir/$fname $host:$pdir
            else
                echo $file does not exists!
        fi
    done
done
5.3、赋予 xsync 可执行权限
[root@dtb-tc-app11 bin]# chmod +x xsync
5.4、将bin分发至所有节点上，使在任何节点都可以使用xsync脚本进行文件分发
[root@dtb-tc-app11 ~]# xsync /root/bin/

在这里插入图片描述

6、关闭防火墙

# 关闭防火墙
[root@dtb-tc-app11 ~]# systemctl stop firewalld
# 查看防火墙状态
[root@dtb-tc-app11 ~]# systemctl status firewalld
# 设置开机不启动防火墙
[root@dtb-tc-app11 ~]# systemctl disable firewalld

在这里插入图片描述

7、关闭SELinux

7.1、修改/etc/selinux/config配置文件，将SELINUX=enforcing修改为SELINUX=disabled
[root@dtb-tc-app11 ~]# vim /etc/selinux/config

在这里插入图片描述

7.2、同步/etc/selinux/config配置文件
[root@dtb-tc-app11 ~]# xsync /etc/selinux/config

在这里插入图片描述

7.3、分别重启dtb-tc-app11、dtb-tc-app12、dtb-tc-app13三台服务器
[root@dtb-tc-app11 ~]# reboot

[root@dtb-tc-app12 ~]# reboot

[root@dtb-tc-app13 ~]# reboot

8、配置 NTP 时钟同步

注意：所有服务器节点均联网的情况下可跳过此步骤

集群时间同步可以参考这篇文章《集群时间同步配置》

二、CM 安装部署

1、安装 JDK（dtb-tc-app11、dtb-tc-app12、dtb-tc-app13全部安装）

1.1、在/root目录下创建software目录，用于存放软件安装包

在这里插入图片描述

1.2、使用 ftp 工具将 jdk 的安装包上传至/root/software目录下

在这里插入图片描述

1.3、创建/usr/java目录，将jdk安装在此目录下
[root@dtb-tc-app11 ~]# mkdir /usr/java
1.4、将jdk-8u291-linux-x64.tar.gz解压至/usr/java目录下
[root@dtb-tc-app11 software]# tar -zxvf jdk-8u291-linux-x64.tar.gz -C /usr/java/
1.5、查看是否解压成功
[root@dtb-tc-app11 software]# ll /usr/java/

在这里插入图片描述

1.6、配置JAVA_HOME环境变量
1.6.1、在/etc/profile.d/目录下创建 java_env.sh文件，并添加如下内容
[root@dtb-tc-app11 software]# vim /etc/profile.d/java_env.sh
1.6.2、注意JAVA_HOME后面为jdk的安装路径，为了避免手写错误，建议进入jdk安装目录使用pwd命令查看并复制

在这里插入图片描述

# JAVA_HOME
export JAVA_HOME=/usr/java/jdk1.8.0_291
export PATH=$PATH:$JAVA_HOME/bin

在这里插入图片描述

1.6.3、刷新profile文件使其环境变量生效
[root@dtb-tc-app11 ~]# source /etc/profile
1.6.4、测试 JDK 是否安装成功
[root@dtb-tc-app11 ~]# java -version

在这里插入图片描述

1.6.5、将dtb-tc-app11中的 JDK 和 环境变量 分发至dtb-tc-app12和dtb-tc-app13上
[root@dtb-tc-app11 ~]# xsync /usr/java/
[root@dtb-tc-app11 ~]# xsync /etc/profile.d/java_env.sh
1.6.6、分别在dtb-tc-app12和dtb-tc-app13上刷新环境变量，并检测 JDK 是否安装成功
[root@dtb-tc-app12 ~]# source /etc/profile
[root@dtb-tc-app12 ~]# java -version

在这里插入图片描述

2、所有节点安装第三方依赖（dtb-tc-app11、dtb-tc-app12、dtb-tc-app13）

yum install -y bind-utils libxslt cyrus-sasl-plain cyrus-sasl-gssapi portmap fuse- libs /lib/lsb/init-functions httpd mod_ssl openssl-devel python-psycopg2 MySQL-python fuse-libs fuse

3、安装 MySQL（本文选择安装在dtb-tc-app13节点上）

3.1、卸载mariadb（CentOS 7自带）
[root@dtb-tc-app13 ~]# rpm -qa | grep mariadb | xargs rpm -e --nodeps
3.2、MySQL安装

MySQL5.7安装参考这篇文章：《通过yum方式安装MySQL5.7》

MySQL8.0安装参考这篇文章：《通过yum方式安装MySQL8.0》

3.3、在/root目录下创建software目录，用于存放软件安装包
[root@dtb-tc-app13 ~]# mkdir software
3.4、上传MySQL驱动至/root/software目录中

在这里插入图片描述

3.5、添加 MySQL 驱动
  • 在/usr/share/目录下创建java目录
[root@dtb-tc-app13 software]# mkdir /usr/share/java
  • 将mysql-connector-java-5.1.34.jar拷贝至/usr/share/java目录下，并重命名为mysql-connector-java.jar
[root@dtb-tc-app13 software]# cp mysql-connector-java-5.1.34.jar /usr/share/java/mysql-connector-java.jar
  • 将mysql-connector-java.jar驱动包分发至其他节点上
[root@dtb-tc-app13 ~]# xsync /usr/share/java/mysql-connector-java.jar

在这里插入图片描述

4、初始化管理节点数据库

4.1、将MySQL驱动包mysql-connector-java-5.1.34.jar拷贝至/opt/cloudera/cm/lib/目录
[root@dtb-tc-app13 ~]# cp /root/software/mysql-connector-java-5.1.34.jar /opt/cloudera/cm/lib/
4.2、将MySQL驱动包分发至其他节点
[root@dtb-tc-app13 ~]# xsync /opt/cloudera/cm/lib/mysql-connector-java-5.1.34.jar
4.3、登录MySQL
[root@dtb-tc-app13 ~]# mysql -uroot -p123456
4.4、创建scm用户及数据库
CREATE USER 'scm'@'%' IDENTIFIED BY 'scm@2021';
GRANT ALL ON *.* TO 'scm'@'%';
CREATE DATABASE scm;
flush privileges;

在这里插入图片描述

4.5、创建hive用户及数据库
CREATE USER 'hive'@'%' IDENTIFIED BY 'hive@2021';
GRANT ALL ON *.* TO 'hive'@'%';
CREATE DATABASE hive;
flush privileges;

在这里插入图片描述

4.6、创建reports数据库
CREATE DATABASE reports;

在这里插入图片描述

5、CM安装

5.1、在dtb-tc-app11上的/root/software目录下创建cm目录，用于存放cloudera相关的rpm包
[root@dtb-tc-app11 ~]# mkdir /root/software/cm
5.2、将cloudera相关的rpm包上传至/root/software/cm目录中

在这里插入图片描述

5.2、将agent和daemons分发至dtb-tc-app12和dtb-tc-app13中
[root@dtb-tc-app11 cm]# xsync cloudera-manager-agent-6.2.0-968826.el7.x86_64.rpm
[root@dtb-tc-app11 cm]# xsync cloudera-manager-daemons-6.2.0-968826.el7.x86_64.rpm
5.3、在主节点dtb-tc-app11上安装daemons、server和agent
[root@dtb-tc-app11 cm]# rpm -ivh cloudera-manager-daemons-6.2.0-968826.el7.x86_64.rpm
[root@dtb-tc-app11 cm]# rpm -ivh cloudera-manager-server-6.2.0-968826.el7.x86_64.rpm
[root@dtb-tc-app11 cm]# rpm -ivh cloudera-manager-agent-6.2.0-968826.el7.x86_64.rpm
5.4、分别在从节点dtb-tc-app12和dtb-tc-app13上安装daemons和agent
[root@dtb-tc-app12 cm]# rpm -ivh cloudera-manager-daemons-6.2.0-968826.el7.x86_64.rpm
[root@dtb-tc-app12 cm]# rpm -ivh cloudera-manager-agent-6.2.0-968826.el7.x86_64.rpm
5.5、修改从节点dtb-tc-app12和dtb-tc-app13 的 agent配置，使其指向server（dtb-tc-app11）
[root@dtb-tc-app12 ~]# vim /etc/cloudera-scm-agent/config.ini

在这里插入图片描述

5.6、初始化scm数据库（在安装server的节点<dtb-tc-app11>上操作）
[root@dtb-tc-app11 ~]# /opt/cloudera/cm/schema/scm_prepare_database.sh mysql -h 192.168.198.13  scm scm 'scm@2021';

在这里插入图片描述

6、上传 CDH 相关文件（主节点dtb-tc-app11）

6.1、在/root/software目录下创建cdh目录，用于存放CDH相关文件
[root@dtb-tc-app11 ~]# mkdir /root/software/cdh
6.2、上传CDH相关文件至/root/software/cdh目录下

在这里插入图片描述

6.3、将CDH的这些文件移动到/opt/cloudera/parcel-repo/中
[root@dtb-tc-app11 ~]# mv /root/software/cdh/* /opt/cloudera/parcel-repo/

7、启动 CM

7.1、在dtb-tc-app11节点上启动server和agent服务，并设置开机自启
# 启动server
[root@dtb-tc-app11 ~]# systemctl start cloudera-scm-server
# 查看server状态
[root@dtb-tc-app11 ~]# systemctl status cloudera-scm-server
# 设置开机自启
[root@dtb-tc-app11 ~]# systemctl enable cloudera-scm-server

在这里插入图片描述

# 启动agent
[root@dtb-tc-app11 ~]# systemctl start cloudera-scm-agent
# 查看agent状态
[root@dtb-tc-app11 ~]# systemctl status cloudera-scm-agent
# 设置开机自启
[root@dtb-tc-app11 ~]# systemctl enable cloudera-scm-agent

在这里插入图片描述

7.2、分别在dtb-tc-app12和dtb-tc-app13节点上启动agent服务，并设置开机自启
[root@dtb-tc-app12 ~]# systemctl start cloudera-scm-agent
[root@dtb-tc-app12 ~]# systemctl status cloudera-scm-agent
[root@dtb-tc-app12 ~]# systemctl enable cloudera-scm-agent

在这里插入图片描述

[root@dtb-tc-app13 ~]# systemctl start cloudera-scm-agent
[root@dtb-tc-app13 ~]# systemctl status cloudera-scm-agent
[root@dtb-tc-app13 ~]# systemctl enable cloudera-scm-agent

在这里插入图片描述

7.3、在浏览器输入server节点的主机名/ip:7180，即可访问到CM的WEB操作界面

在这里插入图片描述

三、CDH 安装

1、登录CM，默认用户名和密码都为admin

在这里插入图片描述

2、点击继续，勾选接收许可条款和条件后点击继续，选择试用版后点击继续

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

3、集群安装

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
注意：若安装的时候，创建hive metastore数据库表失败，报加载不到驱动，则需要将MySQL驱动包拷贝至/opt/cloudera/parcels/CDH/lib/hive/lib/目录中。

安装完成
在这里插入图片描述

4、配置 Hive 支持 Zookeper 连接

4.1、点击 Hive ，进入Hive后点击配置，在配置里搜索hive-site.xml 的 HiveServer2 高级配置代码段（安全阀）

在这里插入图片描述
在这里插入图片描述

4.2、在配置中添加如下内容，添加完成后点击保存修改
hive.server2.support.dynamic.service.discovery
true

hive.server2.zookeeper.namespace
hiveserver2

hive.zookeeper.quorum
dtb-tc-app7:2181,dtb-tc-app8:2181,dtb-tc-app9:2181

hive.zookeeper.client.port
2181

在这里插入图片描述

4.3、若报如下错误，则需要修改一下 CM 元数据库字符集编码

报错信息：cloudera manager修改配置数值时报错Incorrect string value:'\xE5\x87\xBA\xE7\B0…'for column ‘MESSAGE’ at row1
在这里插入图片描述

报错原因：CM元数据库 字符集不兼容 字段 VALUE MESSAGE 无法写入对应的值。

解决办法：修改元数据库

4.4、修改CM元数据库字符集编码
4.4.1、登录数据库
[root@dtb-tc-app13 ~]# mysql -uroot -p123456
4.4.2、选择scm数据库
use scm;

在这里插入图片描述

4.4.3、更改字符集编码
alter table CONFIGS modify `VALUE` longtext character set utf8 collate utf8_general_ci;

alter table CONFIGS_AUD modify `VALUE` longtext character set utf8 collate utf8_general_ci;

alter table GLOBAL_SETTINGS modify `VALUE` longtext character set utf8 collate utf8_general_ci;

alter table USER_SETTINGS modify `VALUE` longtext character set utf8 collate utf8_general_ci;

alter table AUDITS modify `MESSAGE` longtext character set utf8 collate utf8_general_ci;

alter table REVISIONS modify `MESSAGE` longtext character set utf8 collate utf8_general_ci;

在这里插入图片描述

4.5、修改字符集编码后，再次到WEB管理端保存更改，即可看到配置更改已成功保存的提示

在这里插入图片描述

4.6、修改完配置后重启一下Hive

在这里插入图片描述
在这里插入图片描述

5、解决hive中文乱码问题

注意：Hive安装完成之后，Hive会出现中文乱码问题

登录MySQL选择 hive 数据库后修改字符集编码即可，SQL语句如下：

use hive;

alter table COLUMNS_V2 modify column COMMENT varchar(256) character set utf8;

alter table TABLE_PARAMS modify column PARAM_VALUE varchar(4000) character set utf8;

alter table PARTITION_PARAMS modify column PARAM_VALUE varchar(4000) character set utf8;

alter table PARTITION_KEYS modify column PKEY_COMMENT varchar(4000) character set utf8;

alter table INDEX_PARAMS modify column PARAM_VALUE  varchar(4000) character set utf8;

alter table DBS modify column `DESC` varchar(4000) character set utf8;

在这里插入图片描述

6、CDH的目录结构

[root@dtb-tc-app11 ~]# cd /opt/cloudera/parcels/CDH

在这里插入图片描述

  • bin目录存放的是 CDH 上所安装的组件的脚本文件
    在这里插入图片描述

  • lib目录存放的是 CDH 上所安装的组件所依赖的 Jar 包（分好类的）
    在这里插入图片描述

四、测试MapReduce程序

1、在/目录下创建data目录，用来存放测试文件

[root@dtb-tc-app11 ~]# mkdir /data

2、在/data/目录下创建一个word.txt文件，并加入如下内容

[root@dtb-tc-app11 ~]# vim /data/word.txt

hello hadoop yarn hdfs hbase hive
hello hadoop yarn hdfs hbase
hello hadoop yarn hdfs
hello hadoop yarn
hello hadoop
hello

3、在 HDFS 上创建/wordcount/input目录，并上面的word.txt 文件上传至其中

注意：

  • 使用CDH安装组件时，会创建对应的用户（例如：安装HDFS会创建hdfs用户、安装Hive会创建hive用户）
  • 在启动这些组件时，都是使用对应的用户去启动的
  • 所以要对这些组件进行操作时，要指定组件对应的用户（例如：sudo -u hdfs hadoop fs -ls /）
# 创建/wordcount/input目录
[root@dtb-tc-app11 ~]# sudo -u hdfs hadoop fs -mkdir -p /wordcount/input
# 查看是否创建成功
[root@dtb-tc-app11 ~]# sudo -u hdfs hadoop fs -ls -r /wordcount

在这里插入图片描述

# 上传文件至HDFS的/wordcount/input目录中
[root@dtb-tc-app11 ~]# sudo -u hdfs hadoop fs -put /data/word.txt /wordcount/input
# 查看是否上传成功
[root@dtb-tc-app11 ~]# sudo -u hdfs hadoop fs -ls /wordcount/input

在这里插入图片描述

4、执行wordcount程序

[root@dtb-tc-app11 ~]# sudo -u hdfs hadoop jar /opt/cloudera/parcels/CDH/lib/hadoop-mapreduce/hadoop-mapreduce-examples.jar wordcount /wordcount/input/ /wordcount/output

在这里插入图片描述

5、查看wordcount程序的执行结果

# 查看生成的文件
[root@dtb-tc-app11 ~]# sudo -u hdfs hadoop fs -ls /wordcount/output

在这里插入图片描述

# 查看统计的结果
[root@dtb-tc-app11 ~]# sudo -u hdfs hadoop fs -cat /wordcount/output/part-r-00000
[root@dtb-tc-app11 ~]# sudo -u hdfs hadoop fs -cat /wordcount/output/part-r-00001
[root@dtb-tc-app11 ~]# sudo -u hdfs hadoop fs -cat /wordcount/output/part-r-00002	
[root@dtb-tc-app11 ~]# sudo -u hdfs hadoop fs -cat /wordcount/output/part-r-00003

在这里插入图片描述

五、启用Sentry

1、在MySQL中创建Sentry用户及数据库

CREATE USER 'sentry'@'%' IDENTIFIED BY 'sentry@2021';
GRANT ALL ON *.* TO 'sentry'@'%';
CREATE DATABASE sentry;
flush privileges;

在这里插入图片描述

2、在CM上添加Sentry服务

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
注意：若报找不到MySQL驱动的错误，则需将MySQL的驱动包拷贝到/opt/cloudera/parcels/CDH/lib/sentry/lib/目录下

3、Sentry与Hive的集成配置

3.1、修改sentry-site.xml配置文件，添加如下内容
sentry.hive.testing.mode
true

在这里插入图片描述

3.2、启用Sentry服务

在这里插入图片描述

3.3、关闭Hive的用户模拟功能

搜索Hive Impersonation，然后取消勾选
在这里插入图片描述

3.4、重启重新部署客户端配置

在这里插入图片描述

六、Kerberos安装

1、server节点（dtb-tc-app11）安装Kerberos相关软件

# 安装
[root@dtb-tc-app11 ~]# yum install -y krb5-server krb5-workstation krb5-libs
# 查看安装结果
[root@dtb-tc-app11 ~]# rpm -qa | grep krb5

在这里插入图片描述

2、client节点（dtb-tc-app12和dtb-tc-app13）安装Kerberos

# 安装
[root@dtb-tc-app12 ~]# yum install -y krb5-workstation krb5-libs
# 查看安装结果
[root@dtb-tc-app12 ~]# rpm -qa | grep krb5

在这里插入图片描述

3、修改配置文件（dtb-tc-app11）

3.1、kdc 文件配置
[root@dtb-tc-app11 ~]# vim /var/kerberos/krb5kdc/kdc.conf

修改前：
在这里插入图片描述
修改后：
在这里插入图片描述

3.2、kadm5 配置文件（给admin实例的所有主体授权）
[root@dtb-tc-app11 ~]# vim /var/kerberos/krb5kdc/kadm5.acl

在这里插入图片描述
说明：

  • 前面的*：全部主体
  • admin：admin实例
  • DTB.COM：领域
  • 后面的*：全部权限
3.3、krb5 文件配置
[root@dtb-tc-app11 ~]# vim /etc/krb5.conf

在这里插入图片描述

# 分发/etc/krb5.conf配置文件
[root@dtb-tc-app11 ~]# xsync /etc/krb5.conf

在这里插入图片描述

4、创建 Kerberos 数据库

# 输入密码、确认密码
[root@dtb-tc-app11 ~]# kdb5_util create -r DTB.COM -s

在这里插入图片描述

5、创建管理员账号

[root@dtb-tc-app11 ~]# kadmin.local
kadmin.local:  addprinc admin/admin@DTB.COM
kadmin.local:  exit

在这里插入图片描述

6、启动krb5kdc和kadmin服务，并设置开机自启

[root@dtb-tc-app11 ~]# systemctl start krb5kdc
[root@dtb-tc-app11 ~]# systemctl start kadmin
[root@dtb-tc-app11 ~]# systemctl enable krb5kdc
[root@dtb-tc-app11 ~]# systemctl enable kadmin

在这里插入图片描述

7、CDH集群启用Kerberos

7.1、添加管理员账号
[root@dtb-tc-app11 ~]# kadmin.local

kadmin.local:  addprinc cloudera-scm/admin@DTB.COM
kadmin.local:  exit

在这里插入图片描述

7.2、CM节点启用Kerberos

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
等待启用Kerberos
在这里插入图片描述

7.3、查看主体
[root@dtb-tc-app11 ~]# kadmin.local -q "list_principals"

在这里插入图片描述

8、修改Sentry的配置

8.1、在允许的连接用户中添加admin

在这里插入图片描述

8.2、在管理员组中添加admin

在这里插入图片描述

8.3、修改sentry-site.xml的配置文件

搜索 sentry-site.xml 的 Sentry 服务高级配置，点击以XML格式查看添加如下内容

<property><name>sentry.service.processor.factories</name><value>org.apache.sentry.provider.db.service.thrift.SentryPolicyStoreProcessorFactory,org.apache.sentry.hdfs.SentryHDFSServiceProcessorFactory</value></property><property><name>sentry.policy.store.plugins</name><value>org.apache.sentry.hdfs.SentryPlugin</value></property><property><name>sentry.hdfs.integeration.path.prefixes</name><value>/user/hive/warehouse</value></property>

在这里插入图片描述

9、修改HDFS的配置

9.1、开启安全身份验证

在这里插入图片描述

9.2、开启安全授权

在这里插入图片描述

9.3、修改Hadoop用户组映射实现

在这里插入图片描述

9.4、启用访问控制列表

在这里插入图片描述

9.5、启用Sentry同步

在这里插入图片描述

10、修改Yarn配置

10.1、检查允许的系统用户是否有hive用户

在这里插入图片描述

10.2、修改最小用户ID

在这里插入图片描述

10.2、检查是否已启用RM ACL

在这里插入图片描述

11、修改Hive配置

11.1、检查是否已启用Sentry服务

在这里插入图片描述

11.2、检查HiveServer2模拟是否已经关闭

在这里插入图片描述

11.3、检查Hive 仓库子目录继承权限启用

在这里插入图片描述

11.4、设置sentry.hive.testing.mode为false

在这里插入图片描述

12、修改Kafka的配置

12.1、设置Kafka安全身份验证

搜索kerberos.auth.enable，然后勾选
在这里插入图片描述

12.2、设置Kafka认证方式

搜索security.inter.broker.protocol，然后选择SASL_PLAINTEXT
在这里插入图片描述

12.3、配置kafka.properties

搜索kafka.properties 的 Kafka Broker 高级配置代码段（安全阀），然后添加如下内容

authorizer.class.name=kafka.security.auth.SimpleAclAuthorizer
super.users=User:kafka;User:admin;

在这里插入图片描述

12.4、配置 Kafka 支持命令行的kinit操作
12.4.1、创建jaas文件，并添加如下内容
[root@dtb-tc-app11 ~]# vim /etc/kafka/kafka_client_jaas.conf

KafkaClient {
  com.sun.security.auth.module.Krb5LoginModule required
  useTicketCache=true;
};

Client {
  com.sun.security.auth.module.Krb5LoginModule required
  useTicketCache=true;
};

# 分发/etc/kafka/kafka_client_jaas.conf文件
[root@dtb-tc-app11 ~]# xsync /etc/kafka/kafka_client_jaas.conf
12.4.2、修改kafka-run-class.sh文件
[root@dtb-tc-app11 ~]# vim /opt/cloudera/parcels/CDH/lib/kafka/bin/kafka-run-class.sh

在# JVM performance options配置项的KAFKA_JVM_PERFORMANCE_OPTS参数中加入如下内容

-Djava.security.auth.login.config=/etc/kafka/kafka_client_jaas.conf

在这里插入图片描述

# 分发kafka-run-class.sh文件
[root@dtb-tc-app11 ~]# xsync /opt/cloudera/parcels/CDH/lib/kafka/bin/kafka-run-class.sh
12.4.3、创建producer.properties文件，并添加如下内容
[root@dtb-tc-app11 ~]# vim /etc/kafka/conf/producer.properties

security.protocol=SASL_PLAINTEXT
sasl.mechanism=GSSAPI
sasl.kerberos.service.name=kafka

在这里插入图片描述

# 分发producer.properties文件
[root@dtb-tc-app11 ~]# xsync /etc/kafka/conf/producer.properties
12.4.3、创建consumer.properties文件，并添加如下内容
[root@dtb-tc-app11 ~]# vim /etc/kafka/conf/consumer.properties

security.protocol=SASL_PLAINTEXT
sasl.mechanism=GSSAPI
sasl.kerberos.service.name=kafka

# 分发consumer.properties文件
[root@dtb-tc-app11 ~]# xsync /etc/kafka/conf/consumer.properties
12.5、设置 ZooKeeper Root 为/kafka

在这里插入图片描述

12.6、取消Sentry服务

修改好配置之后，保存更改并重启Kafka
在这里插入图片描述
以上为CDH6.2.0集群搭建，并开启Kerberos与Sentry详细教程！

Yunis尤尼斯
关注
专栏目录
CDH6.2.0完整安装包网盘下载地址
03-15
CDH6.2.0全安装包,包含以下内容： 本人亲自安装测试通过后整理的的cdh6.2.0离线安装教程 cdh6.2.0安装部署教程.txt mysql-connector-java-5.1.47.tar.gz mysql-5.7.26-1.el7.x86_64.rpm-bundle.tar cloudera-manager-daemons-6.2.0-968826.el7.x86_64.rpm enterprise-debuginfo-6.2.0-968826.el7.x86_64.rpm cloudera-manager-server-db-2-6.2.0-968826.el7.x86_64.rpm cloudera-manager-agent-6.2.0-968826.el7.x86_64.rpm RPM-GPG-KEY-cloudera docker-engine-1.7.1-1.el6.x86_64.rpm allkeys.asc oracle-j2sdk1.8-1.8.0+update181-1.x86_64.rpm cloudera-ma
CDH6.2.0集群权限控制(一)-----Kerberos的安装与配置
hanli2020的博客
02-28 1545
标题相关版本信息： CDH版本：6.2.0 Linux版本：CentOS7.6
搭建cdh集群及问题处理
最新发布
sunxunyong的博客
09-23 652
分发： ./dep.sh /etc/cloudera-scm-agent/config.ini /etc/cloudera-scm-agent/ all。查看server日志# tail -f /var/log/cloudera-scm-server/cloudera-scm-server.log。查看agent日志# tail -f /var/log/cloudera-scm-agent/cloudera-scm-agent.log。安装cloudera-manager-server。
cdh+dolphinscheduler开启kerberos
SmellyKitty
01-30 1885
CDH 6.3.2 (Parcel)版本+dolphinscheduler 1.3.2版本开启kerberos服务流程
CDH6.2.0详细安装步骤
热门推荐
努力努力再努力！的博客
07-19 7万+
1.准备集群 本文档使用的是三台虚拟机，IP和主机名自行修改，三台虚拟机需要能联网，并且能够免密登录，这些网上都能找到详细的教程，有问题也可以底部留言交流。 ip 名称 内存 172.17.0.169 node169 16G 172.17.0.170 node170 16G 172.17.0.171 node171 16G 2.安装JDK 百度网盘 链接：https://pan.baidu.com/s/1eR-ZAZNLBZwSLgUSmmlfEQ 提取码：95yu 2.1 创建
从零开始搭建CDH6.2操作手册（离线版）
DraGon_HooRay的博客
08-20 1465
一、预备阶段 1、集群机器 2、安装包 jdk: oracle-j2sdk1.8-1.8.0+update181-1.x86_64.rpm mysql: mysql-5.7.28.zip mysql-connector-java-5.1.47.tar.gz cloudera-repos-6.2.0: cloudera-manager-agent-6.2.0-968826.el7.x86_64.rpm c
大数据平台CDH6.2.0安装部署
10-27
大数据平台CDH6.2.0安装部署 大数据平台CDH6.2.0安装部署是指使用Cloudera Manager 6.2.0版本安装和部署大数据平台的过程。该过程包括安装Cloudera Manager Server、配置MySQL数据库、部署CDH Parcel文件、配置...
CDH 6.2.0 集群安装-v54-20200625_213559.pdf
06-25
大数据集群6.2.0离线搭建文档，精心一个星期进行实践编写，报错信息截图详解，报错信息及重要提示处理，离线安装。
phoenix-parcel-5.0.0-cdh6.2.0-el7安装包
08-03
【标题】"Phoenix Parcel 5.0.0 for CDH 6.2.0 on EL7" 是一个专为CDH（Cloudera Data Hub）6.2.0版本设计的Phonix安装包，适用于基于EL7（Enterprise Linux 7）的操作系统环境。这个包的目的是将Phoenix集成到CDH...
CDH开启Kerberos+Sentry权限控制-实施配置指南
12-02
CDH开启Kerberos+Sentry权限控制-实施配置指南,完整的详细教程
CDH6.2.0搭建（史上最全的安装教程）
逆流而上Mr李
05-08 1万+
1 集群准备 1 首先准备三台虚拟机，虚拟机ip地址可以ping通。 ip 名称 192.168.63.131 cdh1 192.168.63.132 cdh2 192.168.63.133 cdh3 2 系统环境准备 在三台虚拟机上 进行网络配置， 免密登录、防火墙关闭、selinux关闭 ...
CDH基于Kerberos开启身份验证实践总结
CharlesYan的博客
08-02 674
Kerberos，一只守护在地狱之门外的三头犬
大数据平台 CDH6.2.1 搭建
qq_36306519的博客
04-26 1949
大数据平台 CDH6.2.1 搭建
CDH6.2.0部署
fzxiaocai的博客
03-14 1934
CDH6.2.0部署 服务器信息 服务器 主机名 安装服务 密码等信息 192.168.66.10 mysql.cdh.lczy.com cloudera-manager-server httpd mysql-5.7 数据库初始密码和安装路径信息如下: mysql_root_pwd=“CDH6.2_lczy” mysql_install_path="/usr/local" 192.168.66.11 cdh11.lczy.com 简单初始化 jdk 192.168.66.12 cd
CentOS7安装CDH6.2.0安装过程--详细版
Alex的博客
11-19 1602
准备 建议最少4台物理机或者虚拟机（一个控制节点，3个数据节点），4核16G，硬盘500G，挂载根目录 如果用于学习，可以4核8G，如果是生产部署，推荐8核32G以上 系统为CentOS7.6，使用root用户登录 CDH版本为6.2.0 节点说明规划： cdh1 主节点 cdh2 从节点 cdh3 从节点 cdh4 从节点 基础配置 挂载磁盘操作请参考这篇文章 ： https://blog.csdn.net/Alex_81D/article/details/10504...
Cloudera-manager搭建安装集群CDH6.2.0
qq_36306519的博客
04-27 774
Cloudera-manager搭建安装集群CDH6.2.0
CDH 6.2.0启用kerberos认证
weixin_45682234的博客
07-06 811
1. 整体说明 集群主机角色划分（cdh6.2.0（续）） n76.aa-data.cn作为master节点，安装kerberos Server 其他节点作为slave节点，安装kerberos client 2. 安装 Kerberos 在 n76.aa-data.cn上安装 krb5、krb5-server 和 krb5-client。 yum install krb5-server -y #klist等命令找不大时执行下面安装 yum install -y krb5-server krb5-works
CDH kerberos部署
Kng_007的博客
06-15 805
Kerberos协议通过强大密钥系统为Server（服务端）和Client（客户端）应用程序之间提供强大的通信加密和认证服务。在自建CDH添加kerberos服务
评论 6
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值