CDH-6.3.2从零到一的详细安装教程&hive on Spark性能测试教程

于 2023-07-22 20:54:22 发布
阅读量131 收藏 3
点赞数
文章标签： hive spark hadoop
原文链接：https://blog.csdn.net/qq_43224174/article/details/131766262?spm=1000.2115.3001.6382&utm_medium=distribute.pc_feed_v2.none-task-blog-personrec_tag-13-131766262-null-null.pc_personrec&depth_1-utm_source=distribute.pc_feed_v2.none-task-blog-personrec_tag-13-
版权 
    <link rel="stylesheet" href="https://csdnimg.cn/release/blogv2/dist/mdeditor/css/editerView/kdoc_html_views-1a98987dfd.css">
    <link rel="stylesheet" href="https://csdnimg.cn/release/blogv2/dist/mdeditor/css/editerView/ck_htmledit_views-25cebea3f9.css">
            <div id="content_views" class="markdown_views prism-atom-one-dark">
                <svg xmlns="http://www.w3.org/2000/svg" style="display: none;">
                    <path stroke-linecap="round" d="M5,0 0,2.5 5,5z" id="raphael-marker-block" style="-webkit-tap-highlight-color: rgba(0, 0, 0, 0);"></path>
                </svg>
                <p></p>

目录

一、集群部署规划

在这里插入图片描述

二、部署前准备

1、安装JDK（五台）

注意：需要使用官网提供的jdk。

1.1 在hadoop101的/opt目录下创建module

[root@cdh1 opt]# mkdir module
#在/home/gbs/下创建software目录
[root@cdh1 gbs]# mkdir software

 
 

 
 
  • 1
  • 2
  • 3

1.2 上传oracle-j2sdk1.8-1.8.0+update181-1.x86_64.rpm并安装

[root@cdh1 software]# rpm -ivh oracle-j2sdk1.8-1.8.0+update181-1.x86_64.rpm 
[root@cdh1 software]#  vim /etc/profile.d/my_env.sh

 
 

 
 
  • 1
  • 2
export JAVA_HOME=/usr/java/jdk1.8.0_181-cloudera
export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib
export PATH=$PATH:$JAVA_HOME/bin

 
 

 
 
  • 1
  • 2
  • 3
[root@cdh1 software]# source /etc/profile.d/my_env.sh
[root@cdh1 software]# java -version
java version "1.8.0_181"

 
 

 
 
  • 1
  • 2
  • 3

1.3 分发

注意：分发脚本在附录里面的分发脚本
集群ssh脚本在附录里面的编写集群ssh脚本

[root@cdh1 software]# xsync /usr/java/
[root@cdh1 software]# xsync /etc/profile.d/my_env.sh

#查看三台集群都是否安装成功
[root@cdh1 software]# sshall.sh java -version

  • 1
  • 2
  • 3
  • 4
  • 5

执行sshall脚本结果如下
image.png

2、安装MySQL

注意：一定要用root用户操作如下步骤；先卸载MySQL再安装。

2.1 安装包准备

（1）查看MySQL是否安装

[root@cdh1 bin]# rpm -qa | grep -i mysql
mysql-libs-5.1.73-7.el6.x86_64

 
 

 
 
  • 1
  • 2

（2）如果安装了MySQL，就先卸载

[root@cdh1 bin]# rpm -e --nodeps mysql-libs-5.1.73-7.el6.x86_64

 
 

 
 
  • 1

（3）删除阿里云原有MySql依赖

[root@cdh1 bin]# yum remove mysql-libs

 
 

 
 
  • 1

（4）下载MySql依赖并安装

[root@cdh1 bin]# yum install libaio
[root@cdh1 bin]# yum -y install autoconf
[root@cdh1 mysql-5.6.24]# pwd
/home/gbs/software/mysql-5.6.24
[root@cdh1 mysql-5.6.24]#  wget https://downloads.mysql.com/archives/get/p/23/file/MySQL-shared-compat-5.6.24-1.el6.x86_64.rpm
[root@cdh1 mysql-5.6.24]# wget https://downloads.mysql.com/archives/get/p/23/file/MySQL-shared-5.6.24-1.el6.x86_64.rpm
[root@cdh1 mysql-5.6.24]# rpm -ivh MySQL-shared-5.6.24-1.el6.x86_64.rpm
[root@cdh1 mysql-5.6.24]# rpm -ivh MySQL-shared-compat-5.6.24-1.el6.x86_64.rpm

 
 

 
 
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8

（5）上传mysql-libs.zip到cdh1的/home/gbs/software/mysql-5.6.24目录，并解压文件到当前目录

[root@cdh1 mysql-5.6.24]# yum install unzip
[root@cdh1 mysql-5.6.24]# unzip mysql-libs.zip
[root@cdh1 mysql-5.6.24]# ll
总用量 81776
drwxr-xr-x. 2 root root      136 6月  26 2015 mysql-libs
-rw-rw-r--. 1 gbs  gbs  77807942 6月  14 16:09 mysql-libs.zip
-rw-rw-rw-. 1 root root  1953680 3月  26 2015 MySQL-shared-5.6.24-1.el6.x86_64.rpm
-rw-rw-rw-. 1 root root  3969728 3月  26 2015 MySQL-shared-compat-5.6.24-1.el6.x86_64.rpm

 
 

 
 
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8

（6）进入到mysql-libs文件夹下

[root@cdh1 mysql-5.6.24]# cd mysql-libs
[root@cdh1 mysql-libs]# ll
总用量 76048
-rw-r--r--. 1 root root 18509960 3月  26 2015 MySQL-client-5.6.24-1.el6.x86_64.rpm
-rw-r--r--. 1 root root  3575135 12月  1 2013 mysql-connector-java-5.1.27.tar.gz
-rw-r--r--. 1 root root 55782196 3月  26 2015 MySQL-server-5.6.24-1.el6.x86_64.rpm
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7

2.2 安装MySQL服务器

（1）安装MySQL服务端

[root@cdh1 mysql-libs]# rpm -ivh MySQL-server-5.6.24-1.el6.x86_64.rpm

 
 

 
 
  • 1

（2）查看产生的随机密码

[root@cdh1 mysql-libs]# cat /root/.mysql_secret
t9On7OJEB7gpY2Ny

 
 

 
 
  • 1
  • 2

（3）查看MySQL状态

[root@cdh1 mysql-libs]# service mysql status
 ERROR! MySQL is not running

 
 

 
 
  • 1
  • 2

（4）启动MySQL

[root@cdh1 mysql-libs]# service mysql start
Starting MySQL. SUCCESS! 
[root@cdh1 mysql-libs]# service mysql status
 SUCCESS! MySQL running (25869)

 
 

 
 
  • 1
  • 2
  • 3
  • 4

2.3 安装MySQL客户端

（1）安装MySQL客户端

[root@cdh1 mysql-libs]# rpm -ivh MySQL-client-5.6.24-1.el6.x86_64.rpm

 
 

 
 
  • 1

（2）链接MySQL（密码替换成产生的随机密码）

[root@cdh1 mysql-libs]# mysql -u root -pt9On7OJEB7gpY2Ny

 
 

 
 
  • 1

（3）修改密码

mysql> SET PASSWORD=PASSWORD('123456.');

 
 

 
 
  • 1

（4）退出MySQL

mysql> exit;

 
 

 
 
  • 1

2.4 MySQL中user表中主机配置

配置只要是root用户+密码，在任何主机上都能登录MySQL数据库。
（1）进入MySQL

[root@cdh1 mysql-libs]# mysql -u root -p123456.

 
 

 
 
  • 1

（2）显示数据库

mysql>show databases;

 
 

 
 
  • 1

（3）使用MySQL数据库

mysql>use mysql;

 
 

 
 
  • 1

（4）展示MySQL数据库中的所有表

mysql>show tables;

 
 

 
 
  • 1

（5）展示user表的结构

mysql>desc user;

 
 

 
 
  • 1

（6）查询user表

mysql>select User, Host, Password from user;

 
 

 
 
  • 1

（7）修改user表，把Host表内容修改为%

mysql>update user set host='%' where host='localhost';

 
 

 
 
  • 1

（8）删除root用户的其他host

mysql> delete from user where host!='%';

 
 

 
 
  • 1

image.png
（9）刷新

mysql>flush privileges;

 
 

 
 
  • 1

（10）退出

mysql>quit;

 
 

 
 
  • 1

3、CM安装部署

3.1 MySQL中建库

1）在MySQL中创建各组件需要的数据库

GRANT ALL ON scm.* TO 'scm'@'%' IDENTIFIED BY 'scm';
# --mysql 8.0以上版本
SHOW VARIABLES LIKE 'validate_password%';
CREATE USER 'scm'@'%' IDENTIFIED BY 'scm.';  #创建用户
grant all privileges on scm.* to 'scm'@'%' ; #分配权限
FLUSH PRIVILEGES; #刷新权限

CREATE DATABASE scm DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
CREATE DATABASE hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
CREATE DATABASE oozie DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
CREATE DATABASE hue DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
CREATE DATABASE sentry DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;

  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12

3.2 CM安装

（1）将mysql-connector-java-5.1.27-bin.jar拷贝到**/usr/share/java路径下，并重命名**

[root@cdh1 mysql-libs]# tar -zxvf mysql-connector-java-5.1.27.tar.gz
[root@cdh1 mysql-libs]# cd mysql-connector-java-5.1.27
[root@cdh1 mysql-connector-java-5.1.27]# mv mysql-connector-java-5.1.27-bin.jar mysql-connector-java.jar
[root@cdh1 mysql-connector-java-5.1.27]# mkdir /usr/share/java
[root@cdh1 mysql-connector-java-5.1.27]# cp mysql-connector-java.jar /usr/share/java/
[root@cdh1 mysql-connector-java-5.1.27]# xsync /usr/share/java/
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
集群规划见[cdh部署集群规划]

 
 

 
 
  • 1

（2）创建cloudera-manager目录,存放cdh安装文件

[root@cdh1 gbs]# pwd
/home/gbs
[gbs@cdh1 ~]$ mkdir -p opt/cloudera-manager
[gbs@cdh1 mysql-connector-java-5.1.27]$ cd /home/gbs/software/
[gbs@cdh1 software]$ tar -zxvf cm6.3.1-redhat7.tar.gz
[gbs@cdh1 software]$ cd cm6.3.1/RPMS/x86_64/
[gbs@cdh1 x86_64]$ mv cloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpm /home/gbs/opt/cloudera-manager/
[gbs@cdh1 x86_64]$ mv cloudera-manager-server-6.3.1-1466458.el7.x86_64.rpm  /home/gbs/opt/cloudera-manager/
[gbs@cdh1 x86_64]$ mv cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm /home/gbs/opt/cloudera-manager/
[gbs@cdh1 x86_64]$ cd /home/gbs/opt/cloudera-manager/
[gbs@cdh1 cloudera-manager]$ ll
总用量 1185872
-rw-r--r--. 1 gbs gbs   10483568 9月  25 2019 cloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpm
-rw-r--r--. 1 gbs gbs 1203832464 9月  25 2019 cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm
-rw-r--r--. 1 gbs gbs      11488 9月  25 2019 cloudera-manager-server-6.3.1-1466458.el7.x86_64.rpm

 
 

 
 
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15

（3）安装cloudera-manager-daemons,安装完毕后多出/opt/cloudera目录

[gbs@cdh1 opt]$ pwd
/opt
[gbs@cdh1 opt]$ ll
总用量 0
drwxr-xr-x. 3 cloudera-scm cloudera-scm 16 6月  14 17:03 cloudera
[gbs@cdh1 opt]$ pwd
/home/gbs/opt
[gbs@cdh1 opt]$ xsync cloudera-manager/

[root@cdh2 cloudera-manager]# pwd
/home/gbs/opt/cloudera-manager
[root@cdh2 cloudera-manager]# rpm -ivh cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm
[root@cdh2 cloudera-manager]# cd /opt/
[root@cdh2 opt]# ll
总用量 0
drwxr-xr-x. 3 cloudera-scm cloudera-scm 16 6月 14 17:10 cloudera

[root@cdh3 /]# cd /home/gbs/opt/cloudera-manager/
[root@cdh3 cloudera-manager]# rpm -ivh cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm
[root@cdh3 cloudera-manager]# cd /opt/
[root@cdh3 opt]# ll
总用量 0
drwxr-xr-x. 3 cloudera-scm cloudera-scm 16 6月 14 17:11 cloudera

  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23

（4）安装cloudera-manager-agent(cdh1-cdh3都要执行)

[root@cdh1 cloudera-manager]# yum install bind-utils psmisc cyrus-sasl-plain cyrus-sasl-gssapi fuse portmap fuse-libs /lib/lsb/init-functions httpd mod_ssl openssl-devel python-psycopg2 MySQL-python libxslt
[root@cdh1 cloudera-manager]# rpm -ivh cloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpm 
[root@cdh1 cloudera-manager]# cd /opt/
[root@cdh1 opt]# ll
总用量 0
drwxr-xr-x. 4 cloudera-scm cloudera-scm 32 6月  14 17:16 cloudera
drwxrwxr-x. 3 gbs          gbs          26 6月  14 15:20 module
[root@cdh1 opt]# cd cloudera/
[root@cdh1 cloudera]# ll
总用量 12
drwxr-xr-x. 27 cloudera-scm cloudera-scm 8192 6月  14 17:05 cm
drwxr-xr-x.  8 root         root          128 6月  14 17:16 cm-agent
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13

（5）安装agent的server节点

[root@cdh1 cloudera-manager]# vim /etc/cloudera-scm-agent/config.ini
server_host=cdh1
[root@cdh2 cloudera-manager]# vim /etc/cloudera-scm-agent/config.ini
server_host=cdh1
[root@cdh3 cloudera-manager]# vim /etc/cloudera-scm-agent/config.ini
server_host=cdh1

 
 

 
 
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6

（6）安装cloudera-manager-server

[root@cdh1 cloudera-manager]# rpm -ivh cloudera-manager-server-6.3.1-1466458.el7.x86_64.rpm

 
 

 
 
  • 1

image.png
（7）上传CDH包到parcel-repo

[root@cdh1 cloudera]# cd /home/gbs/software/
[root@cdh1 software]# mv CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel* /opt/cloudera/parcel-repo/
[root@cdh1 software]# mv manifest.json /opt/cloudera/parcel-repo/
[root@cdh1 parcel-repo]# mv CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha1 CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha
[root@cdh1 parcel-repo]# ll

 
 

 
 
  • 1
  • 2
  • 3
  • 4
  • 5

image.png
（8）修改server的db.properties

[root@cdh1 parcel-repo]# vim /etc/cloudera-scm-server/db.properties

com.cloudera.cmf.db.type=mysql
com.cloudera.cmf.db.host=cdh1:3306
com.cloudera.cmf.db.name=scm
com.cloudera.cmf.db.user=scm
com.cloudera.cmf.db.password=scm
com.cloudera.cmf.db.setupType=EXTERNAL

  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8

（9）启动server服务

[root@cdh1 parcel-repo]# /opt/cloudera/cm/schema/scm_prepare_database.sh mysql scm scm

 
 

 
 
  • 1

密码就是scm
image.png

[root@cdh1 parcel-repo]# systemctl start cloudera-scm-server
[root@cdh1 parcel-repo]# tail -f /var/log/cloudera-scm-server/cloudera-scm-server.log

 
 

 
 
  • 1
  • 2

image.png
这里的错误可以不管
（10）启动agent节点

[root@cdh1 cloudera-manager]# systemctl start cloudera-scm-agent
[root@cdh2 cloudera-manager]# systemctl start cloudera-scm-agent
[root@cdh3 cloudera-manager]# systemctl start cloudera-scm-agent

 
 

 
 
  • 1
  • 2
  • 3

4、CM的集群部署

4.1 Cloudera Manager web地址

http://cdh1:7180/

地址组成说明：
${你的 cloudera-manager-server 安装节点 }:7180
image.png
看到上图说明之前的安装成功了

4.2 接受条款和协议

image.png
默认登录账户/密码

admin/admin

 
 

 
 
  • 1

image.png
image.png
image.png

4.3 集群安装

1.jpg
2.jpg

4.4 指定主机

3.jpg

4.5 选择CDH版本6.3.2

image.png

4.6 等待下载安装

image.png

4.7 检查网络性能，检查主机

image.png
image.png
image.png
image.png
image.png

#临时生效
[root@cdh1 gbs]# sysctl vm.swappiness=10 && cat /proc/sys/vm/swappiness
vm.swappiness = 10
10
[root@cdh2 gbs]# sysctl vm.swappiness=10 && cat /proc/sys/vm/swappiness
vm.swappiness = 10
10
[root@cdh3 gbs]# sysctl vm.swappiness=10 && cat /proc/sys/vm/swappiness
vm.swappiness = 10
10

#永久生效
[root@cdh1 gbs]# echo ‘vm.swappiness=10’>> /etc/sysctl.conf
[root@cdh2 gbs]# echo ‘vm.swappiness=10’>> /etc/sysctl.conf
[root@cdh3 gbs]# echo ‘vm.swappiness=10’>> /etc/sysctl.conf

  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
[root@cdh1 gbs]# echo never > /sys/kernel/mm/transparent_hugepage/defrag
[root@cdh1 gbs]# echo never > /sys/kernel/mm/transparent_hugepage/enabled

[root@cdh2 gbs]# echo never > /sys/kernel/mm/transparent_hugepage/defrag
[root@cdh2 gbs]# echo never > /sys/kernel/mm/transparent_hugepage/enabled

[root@cdh3 gbs]# echo never > /sys/kernel/mm/transparent_hugepage/defrag
[root@cdh3 gbs]# echo never > /sys/kernel/mm/transparent_hugepage/enabled

  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8

两个问题的解决办法都可以设置临时解决，然后重新运行，就可以得到下图
image.png
我这里都设置成永久生效，所以需要重启集群

#关闭agent服务
[root@cdh1 gbs]# systemctl stop cloudera-scm-agent
[root@cdh2 gbs]# systemctl stop cloudera-scm-agent
[root@cdh3 gbs]# systemctl stop cloudera-scm-agent

#关闭server服务
[root@cdh1 gbs]# systemctl stop cloudera-scm-server

#重启
[root@cdh1 gbs]# reboot
[root@cdh2 gbs]# reboot
[root@cdh3 gbs]# reboot

  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12

重启后在开启CM集群服务
再次启动集群之前请确保所有节点机器上的nfs服务已经关闭，避免造成集群的NFS Gateway服务启动失败，关闭nfs服务命令如下:

service nfs-kernel-server stop

 
 

 
 
  • 1

启动集群

#启动server服务
[root@cdh1 gbs]# systemctl start cloudera-scm-server

#启动agent服务
[root@cdh1 gbs]# systemctl start cloudera-scm-agent
[root@cdh2 gbs]# systemctl start cloudera-scm-agent
[root@cdh3 gbs]# systemctl start cloudera-scm-agent

  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9

重启之后遇到集群名已经存在的问题，请参考bug记录集群名已经存在的解决办法进行解决
如果在进行配置时遇到如下问题:
image.png
请将集群停止后在启动，不过在启动是一定要在server服务所在节点先运行如下命令

[root@cdh1 gbs]#  /opt/cloudera/cm/schema/scm_prepare_database.sh mysql scm scm

 
 

 
 
  • 1

然后在正常启动即可。
image.png
image.png
然后把之前的步骤一样，在重新做一遍，到下图位置继续
image.png
这里按照之前的解决办法进行解决就可以了
image.png
这里就解决了
image.png

4.8 群集设置

image.png
image.png

三、数据服务相关组件安装

1、HDFS、YARN、Zookeeper安装

1.1 选择自定义安装

image.png

1.2 选择要安装的三个服务

image.png

1.3 分配节点

image.png
这里截图配置到后期会报警告，为此这里请dn和nm配置集群cdh[1-3],cdh部署集群规划也已经更新，请参考最新的[cdh部署集群规划](https://www.yuque.com/g/liuqingsong-pekab/tm595f/hhxi36v2fn2iu0ra/collaborator/join?token=KVLMip7BeVp6MEzf# 《cdh部署集群规划》)文档进行配置。
image.png

1.4 集群设置

全部选默认即可
image.png
下图是后期增加的，因为/dfs路径下挂载的存储不够，所以从新安装选择了/home目录下
image.png

1.5 自动启动进程

image.png
image.png
image.png
image.png

1.6 配置NameNode HA

1.6.1 进入HDFS页面点击启用High Availability

image.png

1.6.2 命名

image.png

1.6.3 分配角色

image.png

1.6.4 审核更改

image.png

1.6.5 等待启动服务

image.png
image.png
这个警告不用管他，因为之前启动hdfs就已经格式化过了
image.png
image.png

1.7 配置Yarn HA

image.png
image.png
image.png

1.8 HDFS、YARN、Zookeeper安装好后截图

image.png

2、Kafka安装

可以选择在线安装和离线包安装，在线安装下载时间较长，离线包安装时间较短。这里我们为了节省时间，选择离线安装。

2.1 Kafka安装

2.1.1回到首页，点击添加服务

image.png

2.1.2 选择Kafak服务

image.png

2.1.3 Kafka的Broker选择三台机器

image.png

2.1.4 审核更改相关配置

image.png
image.png

2.1.5 安装好Kafka后的截图

image.png

2.2 查看Kafka Topic

[root@cdh1 tmp]# /opt/cloudera/parcels/CDH/bin/kafka-topics --zookeeper cdh2:2181 --list

 
 

 
 
  • 1

2.3 创建 Kafka Topic

进入到/opt/cloudera/parcels/KAFKA目录下分别创建：启动日志主题、事件日志主题。
1）创建topic test

[root@cdh1 tmp]#  /opt/cloudera/parcels/CDH/bin/kafka-topics --bootstrap-server chd1:9092,cdh2:9092,cdh3:9092  --create --replication-factor 1 --partitions 1 --topic test

 
 

 
 
  • 1

image.png

2.4 删除 Kafka Topic

[root@cdh1 tmp]#  /opt/cloudera/parcels/CDH/bin/kafka-topics --delete --bootstrap-server chd1:9092,cdh2:9092,cdh3:9092 --topic test

 
 

 
 
  • 1

image.png

3、Flume安装

image.png
image.png
image.png
image.png

4、Hive安装

4.1 添加服务

image.png

4.2 添加Hive服务

image.png

4.3 将 Hive 服务添加到cdh

image.png

4.5 配置hive元数据

image.png

4.6 测试通过后继续
image.png

4.7 自动启动Hive进程

image.png
image.png
image.png

5、安装spark

CDH6.x自带spark2.4无需升级

5.1 添加服务

image.png

5.2 添加Spark服务

image.png

5.3 分配节点

image.png

5.4 集群设置

全部选择默认即可
image.png

5.5 安装

image.png
image.png
image.png
image.png
image.png
image.png
image.png
image.png

6、配置OOZIE

6.1 添加服务

image.png

6.2 添加oozie服务

image.png

6.3 分配节点

image.png
image.png

6.4 配置Oozie元数据

image.png
image.png

6.5 启动oozie

image.png
image.png

7、配置HUE

7.1 添加服务

image.png

7.2 添加Hue服务

image.png

7.3 分配节点

image.png
image.png

7.4 配置hue元数据

image.png

7.5 自动启动hue进程

image.png
image.png

7.6 Hue web界面相关配置和访问

image.png
image.png
image.png
image.png

四、其他配置

1、修改单个容器下最大cpu申请资源

修改yarn.scheduler.maximum-allocation-vcores参数调整4核。
因为节点的总核心才6核
image.png

2、设置每个任务容器内存大小和单节点大小

将每个任务容器默认大小从1G调大至8G，当前集群环境下每个节点的物理内存为20G，设置每个yarn可用每个节点内存为8G。
这里只给8g是因为节点1使用的内存较多，请根据实际情况给
修改yarn.scheduler.maximum-allocation-mb每个任务容器内存所需大小。
image.png
修改yarn.nodemanager.resource.memory-mb每个节点内存所需大小。
image.png

3、关闭Spark动态分配资源参数

关闭spark.dynamicAllocation.enabled参数否则分配的资源不受控制。
image.png
image.png

4、修改HDFS副本数

修改副本数为1。
image.png

5、设置动态分区模式

Hive动态分区非严格模式，默认是严格模式，严格模式下，动态分区至少要有一个静态分区字段。
hive.exec.dynamic.partition.mode = nonstrict
image.png

6、Hive on Spark配置

image.png

7、配置yarn环境变量

为了解决hue在执行调度任务时找不到环境变量。

,PATH= 

      P 
     
    
      A 
     
    
      T 
     
    
      H 
     
    
      : 
     
    
   
     PATH: 
    
   
 </span><span class="katex-html"><span class="base"><span class="strut" style="height: 0.6833em;"></span><span class="mord mathnormal" style="margin-right: 0.1389em;">P</span><span class="mord mathnormal">A</span><span class="mord mathnormal" style="margin-right: 0.1389em;">T</span><span class="mord mathnormal" style="margin-right: 0.0813em;">H</span><span class="mspace" style="margin-right: 0.2778em;"></span><span class="mrel">:</span></span></span></span></span>JAVA_HOME/bin</p>

image.png

8、取消向量化执行

hive.vectorized.execution.enabled
向量化执行是hive优化的一种方式，但是他必须要求执行引擎是Tez，文件格式是orc，一次批量执行1024行而非一行来提高扫描、聚合、过滤器和连接等操作的性能。
image.png

9、设置Yarn AppMaster资源限制

yarn.scheduler.capacity.maximum-am-resource-percent =0.6，设置有多少资源可以用来运行app master,即控制当前激活状态的应用，默认是10%。
image.png

bug记录

1、集群名已经存在

由于前面创建集群时，已经创建他了，所以这会报错存在
image.png
去他的元数据库，将其删除，
解决办法
image.png
把这几个表里面的数据都删除，但是有的表会出现以下错误
image.png
直接清空表就可以了，因为之前的集群并没有设置成功，这里清空后重新俩

truncate table CLUSTERS;

 
 

 
 
  • 1

注意：几个cluster开头的表，记得都要删除

附录

1、分发脚本

在/home/gbs下创建bin目录

[root@cdh1 gbs]# mkdir bin

 
 

 
 
  • 1

在bin目录下创建集群分发脚本

[root@cdh1 bin]# vim xsync

 
 

 
 
  • 1

写入以下内容

#!/bin/bash

#1. 判断参数个数 if [ $# -lt 1 ] then
echo Not Enough Arguement!
exit; fi

#2. 遍历集群所有机器 for host in cdh1 cdh2 cdh3 do
echo $host
#3. 遍历所有目录，挨个发送

<span class="token keyword">for</span> <span class="token for-or-select variable">file</span> <span class="token keyword">in</span> <span class="token variable">$@</span>
<span class="token keyword">do</span>
    <span class="token comment">#4. 判断文件是否存在</span>
    <span class="token keyword">if</span> <span class="token punctuation">[</span> <span class="token parameter variable">-e</span> <span class="token variable">$file</span> <span class="token punctuation">]</span>
        <span class="token keyword">then</span>
            <span class="token comment">#5. 获取父目录</span>
            <span class="token assign-left variable">pdir</span><span class="token operator">=</span><span class="token variable"><span class="token variable">$(</span><span class="token builtin class-name">cd</span> <span class="token parameter variable">-P</span> <span class="token punctuation">$(</span>dirname $file<span class="token punctuation">)</span><span class="token punctuation">;</span> <span class="token builtin class-name">pwd</span><span class="token variable">)</span></span>

            <span class="token comment">#6. 获取当前文件的名称</span>
            <span class="token assign-left variable">fname</span><span class="token operator">=</span><span class="token variable"><span class="token variable">$(</span><span class="token function">basename</span> $file<span class="token variable">)</span></span>
            <span class="token function">ssh</span> <span class="token variable">$host</span> <span class="token string">"mkdir -p <span class="token variable">$pdir</span>"</span>
            <span class="token function">rsync</span> <span class="token parameter variable">-av</span> <span class="token variable">$pdir</span>/<span class="token variable">$fname</span> <span class="token variable">$host</span><span class="token builtin class-name">:</span><span class="token variable">$pdir</span>
        <span class="token keyword">else</span>
            <span class="token builtin class-name">echo</span> <span class="token variable">$file</span> does not exists<span class="token operator">!</span>
    <span class="token keyword">fi</span>
<span class="token keyword">done</span> <span class="token keyword">done</span>
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25
  • 26

赋予脚本执行权限：

 [root@cdh1 bin]# chmod +x xsync

 
 

 
 
  • 1

2、编写集群ssh脚本

[root@cdh1 bin]# vim sshall

 
 

 
 
  • 1

写入以下内容

#! /bin/bash
for i in cdh1 cdh2 cdh3 do
        echo --------- $i ----------
        ssh $i "$*" done

 
 

 
 
  • 1
  • 2
  • 3
  • 4

赋予脚本执行权限：

 [root@cdh1 bin]# chmod +x sshall

 
 

 
 
  • 1

3、编写集群jps脚本

[root@cdh1 bin]# vim jpsall

 
 

 
 
  • 1

写入以下内容

#!/bin/bash 
for host in cdh1 cdh2 cdh3 do
         echo =============== $host ===============
         ssh $host jps $1 | grep -v Jps done

 
 

 
 
  • 1
  • 2
  • 3
  • 4

赋予脚本执行权限：

 [root@cdh1 bin]# chmod +x jpsall

 
 

 
 
  • 1

3、测试数据量

SELECT count(*) from ods_customer_full;--15000000
SELECT count(*) from ods_lineitem_full;--600037902
SELECT count(*) from ods_nation_full;--5
SELECT count(*) from ods_orders_full;--150000000
SELECT count(*) from ods_part_full;--20000000
SELECT count(*) from ods_partsupp_full;--80000000
SELECT count(*) from ods_region_full;--5
SELECT count(*) from ods_supplier_full;--1000000

 
 

 
 
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8

四、性能测试

性能测试相关文档见hive on Spark性能测试。

coder_small_bell
关注
基于CDH 6.3.0 搭建 Hive on Spark 及相关配置和调优
05-25
CDH6针对hive on spark的调优文档，这个是生产的实战经验
CDH之HIVE-ON-SPARK、Spark配置
ArYe
06-05 2419
hive on spark spark.driver.memory spark.executor.cores spark.executor.instances shuffle 动态分配
CDH的 hive on spark（spark on yarn）
あずにゃん梓喵的博客
02-14 7595
总帖：CDH 6系列（CDH 6.0、CHD6.1等）安装和使用 1.所有版本：https://www.scala-lang.org/download/all.html 2.11.8版本：https://www.scala-lang.org/download/2.11.8.html 2.12.8版本： tar -zxvf scala-2.12.8.tg...
对应chd5.14的spark_Hive On Spark搭建(cdh)
weixin_39732991的博客
12-22 165
hive 和 spark版本之前有强对应关系apache hive 和 spark 对应关系表master2.3.03.0.x2.3.02.3.x2.0.02.2.x1.6.02.1.x1.6.02.0.x1.5.01.2.x1.3.11.1.x1.2.0cdh hive 和 spark对应关系编译环境准备下载scala 2.11版本#添加环境变量vim/etc/profileexportS...
flink source 同步_Hive 终于等来了 Flink
weixin_39803022的博客
10-21 498
简介： Flink 社区在集成 Hive 功能方面付出很多，目前进展也比较顺利，最近 Flink 1.10.0 RC1 版本已经发布，感兴趣的读者可以进行调研和验证功能。作者：JasonApache Spark 什么时候开始支持集成 Hive 功能？笔者相信只要使用过 Spark 的读者，应该都会说这是很久以前的事情了。那 Apache Flink 什么时候支持与 Hive 的集成呢？读者可能有些...
cdh6.3.2配置Hive on Spark
benpaodexiaowoniu的博客
05-03 6071
环境：戴尔xps15（32G内存、1T固态、外接雷电3接口的三星1T移动固态、WD Elements的4T外接机械硬盘）win10三台Centos7虚拟机用于测试cdh6.3.2集群（免费的社区版的最高版本）以及自编译phoenix5.1.0、flink1.10.0、elasticsearch6.6.0等各源码。 首先，该集群试用企业版功能到期后，无法启动Reports Manager角色（见...
CDH6.3.2之升级spark-3.3.1.doc
最新发布
03-06
### CDH6.3.2升级Spark至3.3.1详细步骤与注意事项 #### 一、背景介绍 在CDH6.3.2中，默认的Spark版本为2.4.0。为了满足更高的性能需求及功能扩展，本文将详细介绍如何将Spark升级至3.3.1版本的过程。此次升级的...
适配CDH6.3.2的Spark3.2.2
08-16
Spark3.2.2是Apache Spark的一个重要版本，它提供了许多新特性和性能优化，而适配CDH6.3.2则意味着该版本的Spark已经经过了与Cloudera Data Hub (CDH) 6.3.2的兼容性验证。CDH是一个流行的Hadoop发行版，包含了...
CDH-6.3.2-FLINK1.12.0相关资源包
03-15
在CDH 6.3.2中集成Flink 1.12.0，意味着用户可以直接在CDH环境中享受到这些增强的功能。 CDH的Parcels机制使得软件分发和管理变得更加简单。"flink-parcel"这个文件很可能是包含Flink 1.12.0的 parcel 文件，用于在...
Spark 2.4.0 cdh6.3.2连接 Hive 2.1.1 cdh6.3.2
SuCicada 小米的蝉
01-06 1127
以下maven配置能正确读取hive. 不该加的不要加. spark版本用cdh的. <properties> <maven.compiler.source>8</maven.compiler.source> <maven.compiler.target>8</maven.compiler.target> <spark.version>2.4.0-cdh6.3.2</spark.ve
CDH上安装spark2的操作说明
11-16
CDH安装SPark2的方法 可以同时安装CDH的默认spark以及最近的spark2
apache atlas2.1.0 整合CDH6.3.2编译安装包
07-01
CDH 6.3.2 包含了Hadoop生态系统中的多个组件，如HDFS、YARN、MapReduce、HBase、Spark等，这些组件在大数据处理和分析中扮演着重要角色。Apache Atlas 的整合意味着它可以与CDH中的这些组件无缝集成，提供统一的...
CDH spark 命令行测试
weixin_33690367的博客
01-31 729
一、 参考https://www.cnblogs.com/bovenson/p/5801536.html [root@node-1 test]# chown hdfs:hdfs /root/test/* [root@node-1 test]# chown hdfs:hdfs /root/test [root@node-1 test]# cd /var/lib/ha...
CDH-hive的引擎换为spark：hive on spark
DCHAO的博客
03-20 4008
CDH-hive的引擎换为spark：hive on spark
cdh hive on spark_基于CDH集群的大数据项目的优化总结
weixin_39708737的博客
11-30 912
基于CDH集群的大数据项目的优化总结点击上方“技术支持联盟”，选择“置顶公众号”第一时间了解程序员大小事儿作者：Jin，一个头发茂密的大数据方向攻城狮，一个爱为小伙伴排忧解难的小伙伴~摘要:CDH是Cloudera公司的开源平台发行版，包括Apache Hadoop。通过将Hadoop与十几个其他关键的开源项目集成，可执行端到端的大数据工作流程。简单讲：CDH 封装了各类大数据组件，是...
cdh6.2.1下hive on spark配置使用，hue使用，beeline使用，hive-jdbc使用及日志进度获取
weixin_43455443的博客
03-31 2661
CDH6.2.1 环境 1、开启hive on spark配置： 在hive配置中搜索 spark ，更改一下配置： YARN 服务上的 Spark 选择spark 默认执行引擎 hive.execution.engine ：spark 执行程序初始数 spark.dynamicAllocation.initialExecutors ：2 ，启动sparksession时，默认初始启动的executor个数，如果配置了 set spark.executor.instances=3 （启动的e
在 CDH 中调优 Apache Hive on Spark
海边无限的专栏
05-05 1440
Spark 上的 Hive 在提供相同功能的同时提供比 MapReduce 上的 Hive 更好的性能。在 Spark 上运行 Hive 不需要更改用户查询。具体来说，完全支持用户定义函数 (UDF)，并且大多数与性能相关的配置都使用相同的语义。 本主题介绍如何在 Spark 上配置和调整 Hive 以获得最佳性能。本主题假设您的集群由 Cloudera Manager 管理，并且您使用 YARN 作为 Spark 集群管理器。 以下部分中描述的示例假设一个 40 主机 YARN 集群，每台主...
cdh6.3.2 spark-submit 提交作业到 yarn
06-28
回答1：</h3><br/>要将作业提交到CDH6.3.2的YARN集群上，需要使用以下命令： ``` spark-submit --master yarn --deploy-mode client --class <main-class> <application-jar> <application-arguments> ``` 其中，`...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值