大数据测试环境CDH6.3.2安装部署手册
一、前期准备
1、服务器3台,系统要求centos7,服务器配置24核心+64G内存+2.7T磁盘
2、CDH6.3.2相关资源,目前在线下载已收费,只能采用离线安装
3、CM6.3.1相关资源,目前在线下载已收费,只能采用离线安装
4、mysql驱动,jdk安装包
5、集群规划
6、Flink1.12目前官网没有提供,官网只提供了flink1.9版本的集成,如需使用需要自己编译。
内存 | 磁盘 | CPU | cm | cdh | Mysql | Hive | Impala | Kudu | Flink | Spark | Kafka | |
---|---|---|---|---|---|---|---|---|---|---|---|---|
cdh01 | 64G | 2.7T | 24core | server | namenode | √ | √ | √ | √ | √ | √ | √ |
cdh02 | 64G | 2.7T | 24core | agent | datanode | √ | √ | √ | √ | √ | √ | |
cdh03 | 64G | 2.7T | 24core | agent | datanode | √ | √ | √ | √ | √ | √ |
7、http外部访问端口规划
服务名称 | 端口号 |
---|---|
cloudera manager | 7180 |
resourcemanager | 8088 |
hue | 8888 |
namennode | 50070 |
spark | 19888 |
kafka | 9092 |
mysql | 3306 |
hive | 10000 |
hbase | 60030 |
zookeeper | 2181 |
8、数据存储格式及压缩规划
orc列式存储+snappy压缩
二、Linux调优
有些基于linux的调优前期做好的话,能大幅提升服务器性能,所以可以优先选择一些先调好,后边如果还需要调整,在这个基础上进行
1、缓冲预读
df -Th //查看磁盘部署情况
blockdev --getra /dev/sda2 //查看sda2 预读缓冲
blockdev --setra 2048 /dev/sda2 //修改sda2 预读缓冲为2048
2、文件描述符
vim /etc/security/limits.conf
增加如下
* soft nofile 65535 #任何用户可以打开的最大的文件描述符数量,默认1024,这里的数值会限制tcp连接
* hard nofile 65535
* soft nproc 65535 #任何用户可以打开的最大进程数
* hard nproc 65000
3、关闭tuned
systemctl stop tuned
systemctl disable tuned
systemctl status tuned
4、磁盘分盘
将硬盘/dev/sdb的全部容量扩展到根目录/
1、一般情况下,系统默认是没有parted这个工具的,所以先得安装:
# yum -y install parted (安装parted工具)
2、命令行查看新增硬盘:
# lsblk (查看当前磁盘设备)
3、给新硬盘分区并打上lvm标签
# parted /dev/sdb (视实际情况的盘符编号)
(parted) mklabel gpt (设置分区类型为gpt)
Yes/No? Yes (确认)
(parted) mkpart extended 0% 100% (扩展分区extended,主分区primary 并使用整个硬盘空间)
(parted) p (查看分区情况)
(parted)toggle 1 lvm (将1分区打上lvm标签)
(parted) p (查看分区情况)
(parted) quit (退出)
4、把物理分区转为卷组
# lsblk
# pvcreate /dev/sdb1 (将分出来的sdb1分区转为物理卷)
# pvdisplay (查看结果)
# vgextend centos /dev/sdb1 (centos是vgdisplay查到的分组名)
# lvdisplay (查看逻辑卷)
5、把新增卷组空间全部扩容到根目录的逻辑卷
# lvextend -l +100%FREE /dev/mapper/centos-root (将所有空间分配给centos-root即 / 目录)
6、同步更新逻辑卷,使扩容生效
# xfs_growfs /dev/mapper/centos-root (同步文件系统,使扩容生效)
7、查看硬盘的使用情况
# df -hl (查看磁盘使用率)
三、集群环境配置
根据官网规则,在部署CM之前有些前置步骤需要完成
1、修改主机名
#在不同主机执行不同命令
hostnamectl set-hostname risen-cdh01
hostnamectl set-hostname risen-cdh02
hostnamectl set-hostname risen-cdh03
2、关闭防火墙
方法一:
service ipta