部署greenplum集群详细教程

部署greenplum-db-4.3.16.1集群详细教程，照着部署，直接成功，不成功，那就是你不根据步骤来

1.准备工作

每台机器都需要

yum install -y sed
yum install -y tar
yum install -y perl

2.配置系统信息

2.1 配置系统信息，做安装Greenplum的准备工作

Greenplum 数据库版本4.3.16.1

Linux系统版本 CentOS7.9 64bit

2.1.1 Greenplum集群介绍

这里使用1个master，2个segment的集群，ip为：
192.168.1.171  mdw
192.168.1.172  smdw
192.168.1.173  sdw1
192.168.1.174  sdw2
其中1192.168.1.171为master，192.168.1.172为备用节点，其余为segment。

2.1.2 修改/etc/hosts文件（所有的机器都要修改）

这里主要是为之后Greenplum能够在各个节点之间相互通信做准备，添加如下：
格式为：主机ip地址 主机名

[root@mdw ~]# cat /etc/hosts
192.168.1.171  mdw
192.168.1.172  smdw
192.168.1.173  sdw1
192.168.1.174  sdw2

注意：一定要按照这个格式写，参数代表的含义，上面已经做出说明。
配置了这个文件之后，需要继续修改hostname，即修改/etc/sysconfig/network这个文件
如下（所有机器都要修改）：

[root@mdw ~]# vi /etc/sysconfig/network
# Created by anaconda

NETWORKING=yes
HOSTNAME=mdw

注意：这里修改hostname，需要重启之后方可生效，如需立即生效，需使用hostname命令。
[root@mdw ~]# hostname
这里的HOSTNAME一定要与/etc/hosts中的主机名一致，最终可以使用ping命令测试是否配置好了：

ping不通，先检查一下，无需进行下一步操作

[root@mdw ~]# ping smdw
[root@mdw ~]# ping sdw1
[root@mdw ~]# ping sdw2

 一定要使用主机名来测试，使用ip地址测试无效。

2.1.3 创建用户和用户组（所有机器都要创建）

创建gpamdin用户及gpadmin用户组

groupadd gpadmin
useradd gpadmin -r -m -g gpadmin
passwd gpadmin
#此处密码自行输入

为gpadmin用户授予sudo访问权限
执行visudo

%wheel        ALL=(ALL)       NOPASSWD: ALL

分配gpadmin到此组

usermod -aG wheel gpadmin

2.1.4 修改系统内核（所有的机器都要修改）

[root@mdw ]# cat /etc/sysc
sysconfig/   sysctl.conf  sysctl.d/
[gpadmin@mdw gpseg-1]$ cat /etc/sysctl.conf
kernel.shmall = _PHYS_PAGES / 2 ###根据实际情况修改
kernel.shmmax = kernel.shmall * PAGE_SIZE ###根据实际情况修改
kernel.shmmni = 4096
vm.overcommit_memory = 2
vm.overcommit_ratio = 95

net.ipv4.ip_local_port_range = 10000 65535
kernel.sem = 500 2048000 200 4096
kernel.sysrq = 1
kernel.core_uses_pid = 1
kernel.msgmnb = 65536
kernel.msgmax = 65536
kernel.msgmni = 2048
net.ipv4.tcp_syncookies = 1
net.ipv4.conf.default.accept_source_route = 0
net.ipv4.tcp_max_syn_backlog = 4096
net.ipv4.conf.all.arp_filter = 1
net.core.netdev_max_backlog = 10000
net.core.rmem_max = 2097152
net.core.wmem_max = 2097152
vm.swappiness = 10
vm.zone_reclaim_mode = 0
vm.dirty_expire_centisecs = 500
vm.dirty_writeback_centisecs = 100

###对于内存大于64G的机器，增加下面四个配置
#vm.dirty_background_ratio = 0
#vm.dirty_ratio = 0
#vm.dirty_background_bytes = 1610612736
#vm.dirty_bytes = 4294967296
####################################
####对于内存小于64G的机器，增加下面两个配置
vm.dirty_background_ratio = 3
vm.dirty_ratio = 10
####################################
vm.min_free_kbytes = 549877

执行以下命令使参数生效:

[root@mdw ~]# sysctl -p

注意：每台机器都要修改，不然就会初始化不成功。

2.1.5 修改文件打开限制（每台机器都要修改）：

在这个文件末尾，删掉原来的，添加上面四行就可以了。

[root@mdw ~]# vi /etc/security/limits.conf
* soft nofile 524288
* hard nofile 524288
* soft nproc 131072
* hard nproc 131072

2.1.6 关闭防火墙（每台机器都要）

service iptables stop

关闭SELINUX

sudo sed -i 's/^SELINUX=enforcing/SELINUX=disabled/' /etc/selinux/config
sudo sed -i 's/^SELINUX=permissive/SELINUX=disabled/' /etc/selinux/config

执行完上面的命令，输入sestatus
[root@mdw ~]# sestatus
SELinux status:                 disabled

看见后面的disables，证明已经永久关闭了

2.1.7  执行下面两条命令以修改磁盘IO调度设置和禁用THP提升性能

grubby --update-kernel=ALL --args="elevator=deadline"
grubby --update-kernel=ALL --args="transparent_hugepage=never"

执行完成后，重启一下系统以生效

3 安装Greenplum

3.1 下载安装包

官网