CDH6.3.3 Hadoop集群详细部署

已于 2022-06-22 15:53:44 修改
阅读量2.5k 收藏 11
点赞数
分类专栏： CDH&CDP 文章标签： hadoop 大数据 big data
于 2022-05-23 15:04:01 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_48671620/article/details/124925520
版权

文章目录

1 文档编写的目的

该文档主要介绍如何部署CDH集群环境

2 集群配置服务器说明

本次安装共有7台服务器，分别用于管理节点、计算节点和边缘节点，
服务器列表如下：

HOST NAME说明
qitv3297Cloudera Manager
qitv3296NameNode
qitv3299Strandby NameNode
qitv3298Edge Node
qitv3301DataNode
qitv3300DataNode
qitv3302DataNode

服务器OS版本RedHat7.6

3 前置条件准备

3.1 配置/etc/host

在qitv3297节点配置主机IP映射
在这里插入图片描述
分发到所有节点：(如集群节点过多，可以使用批量脚本发送)

scp /etc/hosts xxxx:/etc

3.2 设置远程免密登录

在172.xx.xx.18节点上使用 ssh-keygen 命令生成一对公钥和私钥, ssh-keygen -t rsa 回车敲击四下即可生成

查看一下生成的公钥和私钥

cd /root/.ssh/

在这里插入图片描述

在qitv3297上把公钥拷贝给其他机器，机器就是你需要远程免密登录的机器

ssh-copy-id qitv3299

在这里插入图片描述
验证是否能够成功免密登录到其他机器

ssh qitv3299

3.3 禁止Selinux

执行命令：

#如果没有批量脚本，每台机器执行该命令
setenforce 0

#批量执行
sh ssh_do_all.sh node.list “setenforce 0”

修改配置文件，在配置文件中添加 下列参数 (所有机器)

vim /etc/selinux/config
SELINUX=disabled

在这里插入图片描述

转发到其他机器

scp /etc/selinux/config xxxx:/etc/selinux/

3.4 关闭防火墙

使用脚本命令：

  • 批量关闭节点的防火墙

systemctl stop firewalld

在这里插入图片描述

  • 设置开机不启动防火墙

systemctl disable firewalld

  • 查看防火墙状态

systemctl status firewalld

3.5 关闭透明大页面

CDH支持的大多数Linux平台都包含一个称为透明大页面的功能，该功能与Hadoop工作负载的交互很差，并且可能严重降低性能。

  • 使用脚本命令批量执行如下操作（所有节点）

echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo never > /sys/kernel/mm/transparent_hugepage/enabled

  • 修改/etc/rc.d/rc.local文件，设置开机自动关闭透明大页面：
vim /etc/rc.d/rc.local
if test -f /sys/kernel/mm/transparent_hugepage/enabled; then
echo never > /sys/kernel/mm/transparent_hugepage/enabled
fi
if test -f /sys/kernel/mm/transparent_hugepage/defrag; then
echo never > /sys/kernel/mm/transparent_hugepage/defrag
fi

在这里插入图片描述
将修改后的文件分发到其他节点

scp /etc/rc.d/rc.local xxxx:/etc

  • 使用批量脚本修改权限（执行权限）

sh ssh_do_all.sh node.list “chmod 755 /etc/rc.d/rc.local”

查看修改后的文件权限

sh ssh_do_all.sh node.list “ls -l /etc/rc.d/|grep rc.local”

3.6 设置swappiness

swappiness，Linux内核参数，控制换出运行时内存的相对权重。swappiness参数值可设置范围在0到100之间。 低参数值会让内核尽量少用交换，更高参数值会使内核更多的去使用交换空间。默认值为60
swappiness参数值说明

  • vm.swappiness = 0
    仅在内存不足的情况下–当剩余空闲内存低于vm.min_free_kbytes limit时，使用交换空间。

  • vm.swappiness = 1
    内核版本3.5及以上、Red Hat内核版本2.6.32-303及以上，进行最少量的交换，而不禁用交换。

  • vm.swappiness = 10
    当系统存在足够内存时，推荐设置为该值以提高性能。

  • vm.swappiness = 60

  • vm.swappiness = 100
    默认值, 内核将积极的使用交换空间

  1. 使用脚本批量执行

sh ssh_do_all.sh node.list “sysctl vm.swappiness=1”
sh ssh_do_all.sh node.list “echo 1> /proc/sys/vm/swappiness”

  1. 永久修改swappiness

vim /etc/sysctl.conf
vm.swappiness = 1

在这里插入图片描述
分发到其他节点

scp /etc/sysctl.conf xxxx:/etc

  1. 查看swappiness的值

sh ssh_do_all.sh node.list “cat /proc/sys/vm/swappiness”

3.7 安装ntp时间

  • 卸载chrony

Redhat7.x操作系统上默认安装了chrony，我们需要先卸载chrony，然后安装ntp
所有节点卸载chrony

sh ssh_do_all.sh node.list “yum -y remove chrony”

所有节点下载安装ntp服务

sh ssh_do_all.sh node.list “yum -y install ntp”

  • 修改配置文件

在Master节点修改/etc/ntp.conf文件

vim /etc/ntp.conf
#添加一下内容
server 127.127.1.0 
fudge 127.127.1.0 stratum 10
#注释掉其他时间服务器和不用的参数

从节点添加master的地址

vim /etc/ntp.conf
server xxxx  #(该节点IP地址为CM的IP地址)
  • 关于ntp的命令

systemctl start ntpd.service //启动服务
systemctl enable ntpd.service //设置开机自启
systemctl status ntpd //查看ntp是否成功
systemctl restart ntpd //重启ntp服务

  • 查看同步状态

sh ssh_do_all.sh node.list “ntpq -p”
在这里插入图片描述

左边出现*号表示同步成功。

  • 如果没有*号出现，可以使用下面命令强制同步时钟

ntpdate -u xxxx xxxx:主节点IP

3.8 安装httpd

下载安装httpd

yum install -y httpd

启动httpd，并设置开机自动启动，查看httpd状态：

systemctl start httpd
systemctl enable httpd
systemctl status httpd

3.9 配置Cloudera Manager的repo源

  1. 将Cloudera Manager的所有rpm包放到 /var/www/html/目录的新建目录cm6.3.3下

ll /var/www/html
在这里插入图片描述

  1. 使用yum安装createrepo软件

yum install -y createrepo

  1. 在/var/www/html/cm6.3.3目录下执行命令：createrepo . 生成rpm元数据：

createrepo .

在这里插入图片描述

出现红框中文目录表示生成成功。

  1. 在/etc/yum.repos.d/目录下新建cm.repo文件，并添加如下内容：
vim cm.repo
[cm_repo]
name = cm_repo
baseurl = http://xxxx/cm6.3.3/
enable = true
gpgcheck = false
  1. 执行一下命令更新repo源：

yum clean all
yum repolist

在这里插入图片描述

3.10 安装数据库

CM底层自动部署安装数据库进行系统配置、schema等并进行相应管理。同时CM也支持使用外部数据库作为系统配置、数据表结构等的底层存储
具体支持的数据库包括：MySQL、PostgreSQL、Oracle

集群角色库：
在这里插入图片描述

  1. 安装外部数据库

yum -y install mariadb mariadb-server

  1. 初始化数据库
  • 启动数据库

systemctl start mariadb

  • 初始化数据库
/usr/bin/mysql_secure_installation  设置密码为123456
Enter current password for root (enter for none):  # 输入密码，默认为空
Set root password? [Y/n] y                   # 是否设置root密码
Remove anonymous users? [Y/n] y        # 是否移除anonymous用户
Disallow root login remotely? [Y/n] n       # 是否禁止远程登录
Remove test database and access to it? [Y/n] y # 是否移除默认的演示数据库
Reload privilege tables now? [Y/n] y          # 是否重新加载权限表？
  • 配置主备Mysql (不需要配置主从数据库可跳过该步骤)

（1）从数据库安装MariaDB

yum -y install mariadb
yum -y install mariadb-server

(2) 启动并配置MariaDB

systemctl start mariadb
systemctl enable mariadb

同样的执行初始化命令初始化备节点的MySQL

/usr/bin/mysql_secure_installation

(3) 修改主从数据库配置（确保mysql目录和my.cnf的权限用户为mysql）
在这里插入图片描述
在这里插入图片描述

(4) 查看binlog日志是否生效

show variables like ‘log_%’;

(5) 在主节点的MySQL中执行如下命令创建一个同步用户，命令如下

GRANT REPLICATION SLAVE ON . TO ‘mysync’@‘172.xx.%’ IDENTIFIED BY ‘mysync’;
FLUSH PRIVILEGES;

(6) 查看Master MySQL二进制日志File与Position

show master status;
在这里插入图片描述

(7) 在Slave Mysql上执行如下SQL：

change master to
master_host='172.xx.xx.18',
master_user='mysync',
master_password='mysync',
master_log_file='mariadb-bin.000001',
master_log_pos=1431;

在这里插入图片描述

start slave;
show slave status \G

在这里插入图片描述

显示图上处为yes，说明配置成功。

  • 创建集群所需要的数据库(密码可以根据自己需要调整)
create database metastore default character set utf8;
CREATE USER 'hive'@'%' IDENTIFIED BY 'password';
GRANT ALL PRIVILEGES ON metastore.* TO 'hive'@'%';
FLUSH PRIVILEGES;
create database scm default character set utf8;
CREATE USER 'scm'@'%' IDENTIFIED BY 'password';
GRANT ALL PRIVILEGES ON scm.* TO 'scm'@'%';
FLUSH PRIVILEGES;
create database rm default character set utf8;
CREATE USER 'rm'@'%' IDENTIFIED BY 'password';
GRANT ALL PRIVILEGES ON rm.* TO 'rm'@'%';
FLUSH PRIVILEGES;
create database am default character set utf8;
CREATE USER 'am'@'%' IDENTIFIED BY 'password';
GRANT ALL PRIVILEGES ON am.* TO 'am'@'%';
FLUSH PRIVILEGES;
create database hue default character set utf8;
CREATE USER 'hue'@'%' IDENTIFIED BY 'password';
GRANT ALL PRIVILEGES ON hue.* TO 'hue'@'%';
FLUSH PRIVILEGES;
create database oozie default character set utf8;
CREATE USER 'oozie'@'%' IDENTIFIED BY 'password';
GRANT ALL PRIVILEGES ON oozie.* TO 'oozie'@'%';
FLUSH PRIVILEGES;
create database sentry default character set utf8;  
CREATE USER 'sentry'@'%' IDENTIFIED BY 'password';   
GRANT ALL PRIVILEGES ON sentry. * TO 'sentry'@'%';   
FLUSH PRIVILEGES;
create database nav_ms default character set utf8;  
CREATE USER 'nav_ms'@'%' IDENTIFIED BY 'password';   
GRANT ALL PRIVILEGES ON nav_ms. * TO 'nav_ms'@'%';   
FLUSH PRIVILEGES;
create database nav_as default character set utf8;  
CREATE USER 'nav_as'@'%' IDENTIFIED BY 'password';   
GRANT ALL PRIVILEGES ON nav_as. * TO 'nav_as'@'%';   
FLUSH PRIVILEGES;

查看创建所有的数据库

show databases;

在这里插入图片描述

3.11 安装JDBC驱动

  1. 在需要访问MySQL的节点上创建/usr/share/java目录

mkdir -p /usr/share/java

  1. 将准备好的MySQL驱动包拷贝至/usr/share/java目录下并重命名

chmod 777 /usr/share/java/mysql-connector-java.jar

  1. 使用软链接的形式去掉驱动jar包的版本号

chmod 777 mysql-connector-java-5.1.34.jar

ln -s mysql-connector-java-5.1.34.jar mysql-connector-java.jar

4 Cloudera Manager安装

4.1 安装JDK

yum -y install oracle-j2sdk1.8.x86_64

4.2 安装Cloudera Manager Server

  1. 通过yum安装Cloudera Manager Server

yum -y install cloudera-manager-server

在这里插入图片描述

  1. 初始化数据库

/opt/cloudera/cm/schema/scm_prepare_database.sh mysql scm scm password

在这里插入图片描述

  1. 启动Cloudera Manager Server

systemctl start cloudera-scm-server

systemctl status cloudera-scm-server

  1. 检查端口是否监听

netstat -lnpt | grep 7180

在这里插入图片描述

  1. 通过http://172.xx.xx18:7180/cmf/login访问CM, 默认账号密码为admin/admin

在这里插入图片描述
注意：完全启动成功需要几分钟时间。

5 CDH安装

5.1 部署CDH parcel包到http服务

ll /var/www/html

在这里插入图片描述

验证是否可以通过浏览器访问 http://172.xx.xx.18/cdh6.3.3
在这里插入图片描述

5.2 CDH集群安装向导

  1. 登录Cloudera Manager控制台，进入集群安装引导欢迎界面
    在这里插入图片描述

  2. 点击“继续”，选择接受许可条款和条件

在这里插入图片描述

  1. 点击“继续”，选择60天试用安装

在这里插入图片描述

  1. 点击“继续”，进入CDH集群安装界面

在这里插入图片描述

  1. 点击“继续”，输入集群名称

在这里插入图片描述

  1. 点击继续，输入待加入集群的主机名并点击“搜索”按钮

在这里插入图片描述

  1. 点击“继续”，修改CM和CDH的Repository

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

  1. 点击“继续”，勾选安装java并勾选安装Java无限制强度加密政策文件

在这里插入图片描述

  1. 点击“继续”，输出登录服务器的账号和密码

在这里插入图片描述

  1. 点击“继续”，进入Agent服务安装界面
    在这里插入图片描述

  2. Agent服务安装完成后自动进入CDH Parcel分发界面
    在这里插入图片描述

等待Parcel包分发完成，进入主机环境检查
在这里插入图片描述

  1. 点击“继续”，进入选择服务界面点击自定义，勾选服务
    在这里插入图片描述

  2. 点击“继续”，进入角色分配界面
    在这里插入图片描述

  3. 点击“继续”，配置数据库信息，点击“测试”确认是否填写正确

在这里插入图片描述

  1. 点击“继续”，确认及调整相应配置
    在这里插入图片描述

  2. 点击“继续”，进入服务首次启动初始流程
    在这里插入图片描述

等待命令运行完成

  1. 点击“继续”

在这里插入图片描述

  1. 点击“完成”，完成集群的安装

在这里插入图片描述

5.3 配置yarn、Impala 动态资源池放置规则

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

6 集群安装KDC服务

6.1 KDC服务安装及配置

  1. 在Cloudera Manager服务器上安装KDC服务

yum -y install krb5-server krb5-libs krb5-auth-dialog krb5-workstation

  1. 修改/etc/krb5.conf配置
vim /etc/krb5.conf
# Configuration snippets may be placed in this directory as well
includedir /etc/krb5.conf.d/
[logging]
 default = FILE:/var/log/krb5libs.log
 kdc = FILE:/var/log/krb5kdc.log
 admin_server = FILE:/var/log/kadmind.log
[libdefaults]
 dns_lookup_realm = false
 dns_lookup_kdc = false   #必须加
 ticket_lifetime = 24h
 renew_lifetime = 7d
 forwardable = true
 rdns = false
 pkinit_anchors = /etc/pki/tls/certs/ca-bundle.crt
 default_realm = xxxx.COM
# default_ccache_name = KEYRING:persistent:%{uid}
[realms]
 xxxx.COM = {
   kdc = qitv3297
   admin_server = qitv3297
 }
[domain_realm]
# .example.com = EXAMPLE.COM
# example.com = EXAMPLE.COM
  1. 修改/var/kerberos/krb5kdc/kadm5.acl配置
vim /var/kerberos/krb5kdc/kadm5.acl
*/admin@xxxx.COM      *
  1. 修改/var/kerberos/krb5kdc/kdc.conf配置
vim /var/kerberos/krb5kdc/kdc.conf
[kdcdefaults]
 kdc_ports = 88
 kdc_tcp_ports = 88
[realms]
 xxxx.COM = {
  #master_key_type = aes256-cts
  max_renewable_life= 7d 0h 0m 0s
  acl_file = /var/kerberos/krb5kdc/kadm5.acl
  dict_file = /usr/share/dict/words
  admin_keytab = /var/kerberos/krb5kdc/kadm5.keytab
  supported_enctypes = aes256-cts:normal aes128-cts:normal des3-hmac-sha1:normal arcfour-hmac:normal camellia256-cts:normal camellia128-cts:normal des-hmac-sha1:normal des-cbc-md5:normal des-cbc-crc:normal
 }
  1. 创建Kerberos数据库

kdb5_util create –r xxxx.COM -s

  1. 创建Kerberos的管理账号 （密码：123456）

kadmin.local

addprinc admin/admin@xxxx.COM

  1. 将Kerberos服务添加到自启动服务，并启动krb5kdc和kadmin服务

systemctl enable krb5kdc
systemctl enable kadmin
systemctl start krb5kdc
systemctl start kadmin

  1. 测试Kerberos的管理员账号

kinit admin/admin@xxxx.COM

  1. 为集群安装所有Kerberos客户端，包括Cloudera Manager，如下命令需要在集群所有节点执行

yum -y install openldap-clients krb5-workstation krb5-libs

  1. 将KDC Server上的krb5.conf文件拷贝到所有Kerberos客户端，使用批处理脚本将Kerberos服务端的krb5.conf配置文件拷贝至集群所有节点的/etc目录下：

sh bk_cp.sh node.list /etc/krb5.conf /etc/

6.2 集群启用Kerberos

  1. 在KDC中给Cloudera Manager添加管理员账号（密码为123456）

kadmin.local

addprinc cloudera/admin@xxxx.COM

  1. 进入Cloudera Manager的“管理”“安全”界面

在这里插入图片描述

  1. 选择“启用Kerberos”，进入如下界面

在这里插入图片描述

  1. 确保如下列出的所有检查项都已完成
    在这里插入图片描述

  2. 点击“继续”，配置相关的KDC信息，包括类型、KDC服务器、KDC Realm、加密类型以及待创建的Service Principal的更新生命期等

在这里插入图片描述

  1. 不建议让Cloudera Manager来管理krb5.conf，点击继续

在这里插入图片描述

  1. 输入Cloudera Manager的Kerbers管理员账号，一定得和之前创建的账号一致，点击“继续”

在这里插入图片描述

  1. 点击“继续”启用Kerberos
    在这里插入图片描述

  2. 确认Kerberos的配置信息以及HDFS的端口号的变化（默认即可）
    在这里插入图片描述

  3. 点击“继续”运行启动Kerberos指令，等待集群重启完成
    在这里插入图片描述

  4. 点击“完成”，至此已成功启用Kerberos。

在这里插入图片描述

7 CDH集群集成Sentry服务

7.1 安装Sentry服务

在前面数据库章节已为Sentry创建了数据，接下来主要做Sentry服务的添加并与CDH各个服务集成。

  1. 登录Cloudera Manager控制台主页，添加Sentry服务

在这里插入图片描述

  1. 点击“添加服务”，进入服务添加界面，勾选Sentry服务
    在这里插入图片描述

  2. 点击“继续”，进入角色分配界面
    在这里插入图片描述

  3. 点击“继续”，配置元数据库并测试连通性

在这里插入图片描述

  1. 点击“继续”，首次启动运行命令，等待命令运行成功。

在这里插入图片描述

  1. 点击“继续”，完成Sentry服务的安装
    在这里插入图片描述

7.2 Hive与Sentry集成

  1. 进入Hive服务配置页面，搜索“sentry”

在这里插入图片描述

  1. 搜索“doas”禁用hive模拟功能
    在这里插入图片描述

  2. 启用数据库中的存储通知
    在这里插入图片描述

保存上述修改配置，待后面所有配置修改完成后重启服务。

7.3 HDFS与Sentry集成

  1. 进入HDFS服务配置界面搜索“sentry”
    在这里插入图片描述

  2. 搜索“acl”
    在这里插入图片描述

保存上述修改配置，待后面所有配置修改完成后重启服务。

7.4 Impala与Sentry集成

进入Impala服务的配置界面，搜索“sentry”勾选并保存配置
在这里插入图片描述

7.5 Hue与Sentry集成

进入Hue服务的配置页面，搜索“sentry”勾选并保存配置
在这里插入图片描述

完成上述所有配置后，回到CM主页根据提示重启相应服务
在这里插入图片描述

点击重启按钮
在这里插入图片描述

重启相应服务，等待服务重启
在这里插入图片描述

8 服务启用高可用

8.1 NameNode启用高可用

  1. 登录Cloudera Manger进入HDFS服务

在这里插入图片描述

  1. 点击“启用High Availability”，进入高可用引导页

在这里插入图片描述

  1. 点击“继续”，分配高可用角色
    在这里插入图片描述

  2. 点击“继续”，配置JournalNode数据目录

在这里插入图片描述

  1. 点击“继续”，进入启用高可用流程，命令执行完成
    在这里插入图片描述

  2. 点击“继续”，完成高可用启用

在这里插入图片描述

  1. 进入实例列表看到
    在这里插入图片描述

8.2 ResourceManager启用高可用

  1. 登录Cloudera Manager,进入Yarn服务
    在这里插入图片描述

  2. 点击“启用High Availability”，进入高可用引导页

在这里插入图片描述

  1. 点击“继续”，进入服务高可用启用流程，命令运行完成

在这里插入图片描述

  1. 点击“完成”，即完成了Yarn服务的高可用配置

在这里插入图片描述

8.3 Sentry服务启用高可用

  1. 登录Cloudera Manager控制台，进入Sentry服务

在这里插入图片描述

  1. 点击“启用High Availability”，进入高可用引导页
    在这里插入图片描述

  2. 点击“继续”，进入启用Sentry高可用流程，命令执行成功

在这里插入图片描述
在这里插入图片描述

至此完成Sentry服务的高可用启用。

9 功能验证

9.1 添加Gateway模板并应用到edge node节点

  1. 登录Cloudera Manager控制台，点击“主机”->”主机模板”
    在这里插入图片描述

  2. 点击“创建”
    在这里插入图片描述

完成创建
在这里插入图片描述

  1. 点击“主机”-“所有主机”

  2. 选择qitv3298节点，点击菜单应用模板

在这里插入图片描述

选择模板
在这里插入图片描述

  1. 点击确认完成Gateway角色部署

9.2 HDFS功能验证

  1. 执行put命令

在这里插入图片描述

  1. 向集群提交一个MapReduce作业

hadoop jar /opt/cloudera/parcels/CDH/lib/hadoop-mapreduce/hadoop-mapreduce-examples.jar pi 5 5
在这里插入图片描述

作业执行成功
在这里插入图片描述
在这里插入图片描述

9.3 Spark功能验证

  1. 向集群提交一个Spark作业

spark-submit --class org.apache.spark.examples.SparkPi
–master yarn-client --num-executors 4 --driver-memory 2g
–driver-cores 1 --executor-memory 2g --executor-cores 1
/opt/cloudera/parcels/CDH/lib/spark/examples/jars/spark-examples_2.11-2.4.0-cdh6.3.3.jar

  1. 作业执行成功
    在这里插入图片描述
    在这里插入图片描述

9.4 Hive功能验证

在这里插入图片描述

9.5 Impala功能验证

在这里插入图片描述

9.6 HBase功能验证

create 'user', 'info'
put 'user','rk01','info:name','zhangsan'
put 'user','rk01','info:age',20
scan 'user'

在这里插入图片描述

9.7 Sentry验证

  • 创建测试角色并将角色授权给用户组

  • 创建两个角色：
    read：只能读default库test表，并授权给user_r用户组
    write：只能写default库test表，并授权给user_w用户组
    注意：集群所有节点必须存在user_r和user_w用户，用户默认用户组与用户名一致，赋权是针对用户组而不是针对用户。

useradd user_r
passwd user_r

useradd user_w
passwd user_w

  • 创建角色

1.使用hive用户创建read和write角色，并授权read角色对test表的select权限，write角色对test表的insert权限

create role test_read;
grant select on table test to role test_read;
create role test_write;
grant insert on table test to role test_write;

在这里插入图片描述

2.将read角色授权给user_r用户组，write角色授权给user_w用户组

grant role test_read to group user_r;
grant role test_write to group user_w;

在这里插入图片描述

3.使用kadmin创建user_r和user_w用户

addprinc user_r
addprinc user_w

在这里插入图片描述

  • beeline验证

(1) 使用user_r用户登录Kerberos

kinit user_r

通过beeline连接HiveServer2进行验证

!connect jdbc:hive2://qitv3296:10000/;principal=hive/qitv3296@xxxx.COM

在这里插入图片描述
在这里插入图片描述

执行Hive的MapReduce任务
在这里插入图片描述

(2) 使用user_w用户登录Kerberos

kinit user_w

使用beeline登录HiveServer2验证

!connect jdbc:hive2://qitv3296:10000/;principal=hive/qitv3296@xxxx.COM

在这里插入图片描述

验证总结：
user_r用户所属组为user_r拥有test表读权限，只能对test表进行select和count操作不能进行insert操作；
user_w用户所属组为user_w拥有test表写权限，只能对test表进行insert操作不能进行select操作；

非晚の
关注
  • 0
    点赞
  • 踩
  • 11
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
CDH大数据平台搭建之HADOOP分布式集群搭建
qq_41924766的博客
06-09 3937
CHD大数据平台搭建之HADOOP安装一、什么是HADOOP?二、如何下载1.官网下载2.网盘下载三、搭建集群1.准备5台虚拟机2.安装JDK3.安装ZOOKEEPER4.集群规划5.安装HADOOP6.修改配置文件1、进入配置文件目录：2、修改env文件3、修改core-site.xml文件4、修改hdfs-site.xml文件5、配置mapred-site.xml文件6、修改yarn-site.xml文件7、修改slaves文件8、分发文件9、配置环境变量四、启动集群1.启动ZOOKEEPER集群2.启
CDH6.3.2安装包申请链接及组件版本
ClouderaHadoop的博客
03-10 2915
cdh6.3.2组件名称 版本 Supervisord 3 Cloudera Manager Agent 6.3.1 Cloudera Manager Management Daemon 6.3.1 Flume NG 1.9.0+cdh6.3.2 Hadoop 3.0.0+cdh6.3.2 HDFS 3.0.0+cdh6.3.2 HttpFS 3.0.0+cdh6.3.2 hadoop-kms 3.0.0+cdh6.3.2 MapReduce 2 3.0.0+cdh6.3.2 YARN 3.0.0+cdh6
CDH6.3.3安装bao下载
03-11
文件： cm6.3.3-redhat7.tar.gz cloudera-manager.repo RPM-GPG-KEY-cloudera CDH-6.3.3-1.cdh6.3.3.p0.1796617-el7.parcel CDH-6.3.3-1.cdh6.3.3.p0.1796617-el7.parcel.sha1 CDH-6.3.3-1.cdh6.3.3.p0.1796617-el7.parcel.sha256 如遇技术问题可添加微信咨询：15854186970
Cloudera CDH 6.3.3 三节点集群部署
UsamaBinLaden6976498的专栏
05-28 1434
Cloudera CDH集群的部署实际上主要是Cloudera Manager的部署，在说的直白点儿那就是Cloudera Manager Server和本地YUM源的部署与搭建。 Cloudera CDH和Manager 6.3.3 及以后版本升级需要有效的cloudera enterprise或者cdp数据中心授权，这意味着Cloudera CDH和Manager免费社区版本将会停留在6.3.2版，一直以资金不足薅Cloudera羊毛的广大中小型企业要么强制自己的Hadoop生态应用兼容于CDH 6.
CDH大数据平台部署安装（详细）
最新发布
m0_73800495的博客
06-12 1308
在主节点上安装MySQL数据库，CDH的某些组件（如Cloudera Manager和Hive Metastore）需要数据库支持。在主节点上设置本地YUM源，包含CDH和Cloudera Manager的安装包，便于节点安装和管理软件包。baseurl=http://[IP地址或master节点名称]/cloudera-repos/cm6。#将下载好的rpm安装包上传到/var/www/html/cloudera-repos/cm6。#打开10.8.42.54/cloudera-repos/cm6/
搭建：离线部署 CDH 5.12.1 及部署 Hadoop 集群服务
good7ob的博客
08-06 198
通过本文的介绍，你已经学习了如何离线部署 CDH 5.12.1 和搭建 Hadoop 集群服务。你还了解了如何使用 Hadoop 集群进行数据处理，并通过一个简单的 WordCount 案例进行了演示。希望本文能够帮助你快速搭建起一个可靠的大数据处理平台，并了解了如何使用 Hadoop 集群进行数据处理。CDH 提供了强大的分布式存储和计算能力，可以满足大规模数据处理的需求。通过搭建 Hadoop 集群，你可以充分利用集群的计算资源，实现高效的数据处理和分析。
Hadoop 2.5.0-cdh5.3.6集群搭建
qq_39300784的博客
11-15 668
Hadoop 2.5.0-cdh5.3.6 部署     * Local Mode     * Distributed Mode         * 伪分布式             一台机器，运行所有的守护进程，             从节点DataNode、NodeManager         * 完全分布式             有多个从节点             D
离线部署 CDH 6.2 及使用 CDH 部署 Hadoop3 大数据平台集群服务
sinat_28371057的博客
10-15 1550
Cloudera Manager Cloudera Manager 分为两个部分：CDH和CM。 CDH是Cloudera Distribution Hadoop的简称，顾名思义，就是cloudera公司发布的Hadoop版本，封装了Apache Hadoop，提供Hadoop所有的服务，包括HDFS,YARN,MapReduce以及各种相关的components:HBase, Hive, ZooKeeper,Kafka等。 CM是cloudera manager的简称，是CDH的管理平台，主要包括C
CDH5 Hadoop集群完全离线安装说明
08-14
本文档详细介绍了如何在CentOS 6.5 64位操作系统上进行CDH5 Hadoop集群的完全离线安装前的JDK配置工作。通过两种不同的安装方法——使用 `.rpm` 和 `.tar.gz` 文件，详细说明了每一步骤的操作过程。此外，还提供了...
CDH6.3.2集群部署手册
03-26
CDH6.3.2集群部署手册是用于指导用户在其环境中部署Cloudera Distribution for Hadoop（CDH）版本6.3.2的文档。CDH是一个开源的大数据管理平台，旨在简化大数据的管理和操作，并提供各种工具和组件来处理和分析大...
CDH_Hadoop5.13.3集群离线部署（三台主机）
10-10
前言：想学习大数据开发，搭建大数据CDH_Hadoop集群是免不了的工作，这一步至关重要。而搭建CDH_Hadoop不是一件容易的事情，步骤很多，配置繁琐，这也是大数据门槛高的一个体现，很多新手都卡在这一关。经过实践和...
CDH搭建Hadoop集群
09-08
本文档主要以使用Cloudera Manager5.9.3 自动搭建Hbase集群为例，介绍如何使用Cloudera Manager自动搭建Hadoop相关集群，简化为多台服务器搭建Hadoop集群工作，提高工作效率。至于如何使用Cloudera Manager来管理...
搭建5个节点的hadoop集群环境（CDH5）
热门推荐
陌上花开
05-18 5万+
搭建一个分布式的hadoop集群环境，下面是详细步骤，使用cdh5 。提示：如果还不了解Hadoop的，可以下查看这篇文章Hadoop生态系统，通过这篇文章，我们可以首先大致了解Hadoop及Hadoop的生态系统中的工具的使用场景。 一、硬件准备 基本配置: 操作系统 64位 CPU (英特尔)Intel(R) I3处理器 内存 8.00 GB ( 1600 MHz) 硬盘剩余空间 50G 流畅配置: 操作系统 64位
CDH搭建hadoop集群
Cruise的博客
09-04 2041
目的：CDH5.8.0离线搭建hadoop环境关于CDH和ClouderaManager CDH (Cloudera’s Distribution, includingApache Hadoop)，是Hadoop众多分支中的一种，由Cloudera维护，基于稳定版本的Apache Hadoop构建，并集成了很多补丁，可直接用于生产环境。 Cloudera Manager（本文以下简称为CM）则
CDH6.3.2安装文档
别人笑我太疯癫，我笑他人看不穿。
11-05 2310
安装说明 CDH是一个完善的Apache Hadoop及相关项目的发行版。CDH通过WEB界面管理，并提供了hadoop的两个核心功能：可扩展存储和分布式计算，以及企业级的重要功能。CDH是遵循Apache-licensed的开源软件，提供了基于hadoop的批处理、交互SQL、交互查询、基于角色的访问控制。 Cloudera Manager是一个管理CDH集群端到端的应用。Cloudera Manager通过向CDH集群的每个部分提供细粒度的可见性及可控性，建立出一套企业部署标准，这可以提高性能、服务质量
Hadoop安装 -- CDH分布式环境搭建
weixin_45749011的博客
10-31 2万+
目标: 搭建基于CDH的分布式集群 安装环境服务部署计划 准备工作 1.关闭防火墙/etc/init.d/iptables stop chkconfig iptables off 2.关闭selinux 3.修改主机名 4.ssh无密码拷贝数据 特别说明（在主节点无密码访问到从节点） ssh-keygen ssh-copy-id 192.168.100.201 ssh...
hadoop系列-hadoop版本选择
10-23 5422
引言 Hadoop自从出现到现在被广泛应用，经理了很多个版本的衍化，甚至各个公司都在原生apache hadoop的基础上进行了一些改造以及特性优化，有些是完善了一整套的集群部署工具，在这衍化的过程中出现了Apache hadoop官方版本，还有很多第三方版本，例如Cloudera,Hortonworks,IBM，华为等提供的版本。那么这么多的版本，我们在进行学习开发或者生产环境部署的时候应该如何...
从零搭建生产Hadoop集群（三）——CDH集群搭建
lxbalex的博客
10-20 8307
从零搭建Hadoop集群（三）——CDH集群搭建一、概述二、硬件检查与系统配置1.硬件检查1）检查内存2）检查所有磁盘挂载。将noatime参数写入/etc/fstab，并remount所有数据盘。3）检查磁盘读写4）检测网卡设置5）检测路由6）检查系统版本2.系统配置1）配置hostname与/etc/hosts（所有节点）设置hostname设置/etc/hosts2）所有节点安装SSH（所有...
CDH6.3.2 hadoop3 配置viewfs实操指南
h952520296的博客
02-18 1331
我们可以通过linkMergeSlash将挂载表的根与另一个文件系统的根合并。在下面的挂载表配置中，ClusterY 的根目录与位于hdfs://nn1-clustery.example.com:8020的根文件系统合并。第一种挂载方式是经典的viewfs挂载方式，viewfs实际上提供了一种映射关系，将一个全局（逻辑）目录映射到某个具体的namenode（物理）目录上。这个集群里的文件夹都来自各个集群或者本身的挂载，虚拟集群本身是没有文件夹的。使用感受会差很多，没有在一个集群里的感觉了。
CDH6.3配置solr
08-12
配置CDH 6.3中的Solr可以按照以下步骤进行： 1. 在CDH管理界面中，点击"添加服务"按钮，选择Solr服务。 2. 在安装向导中，选择要安装Solr的主机，并选择要在其中运行Solr的角色。 3. 配置Solr的角色属性，包括端口号、数据目录、日志目录等。 4. 配置Solr的ZooKeeper连接属性，包括ZooKeeper客户端端口号、ZooKeeper服务的主机名和端口号等。 5. 定义Solr集合，可以指定集合名称、配置文件、副本数等。 6. 配置Solr的监控属性，如启用或禁用监控、指定监控的端口号等。 7. 完成安装向导，启动Solr服务。 在完成上述步骤后，CDH 6.3中的Solr就配置完成了。你可以通过CDH管理界面或者命令行工具来管理和使用Solr。希望对你有所帮助！
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值