greenplum集群安装（包含greenplum集群高可用配置）

写在前面：本集群安装包含master启用高可用、单机多segment、segment 备份节点（mirror）启用。Greenplum数据库版本，建议选择5.x，目前6.x版本未进入正式版本，暂不建议进入生产环境。目前已测试版本为greenplum-5.16。

1. 软件下载

greenplum官方下载地址：https://network.pivotal.io/products/pivotal-gpdb/

进入该页面后选择你所需要的数据库版本，然后选择Greenplum Database Server文件夹，选择相应的操作系统版本下载即可。

2.系统环境准备（所有主机都要执行以下步骤）

2.1 关闭selinux和firewall

查看selinux状态，命令如下：

# sestatus 
SELinux status: disabled

关闭selinux

# vim /etc/selinux/config
SELINUX=disable

查看防火墙命令

# systemctl status firewalld

关闭防火墙命令

# systemctl stop firewalld.service
# systemctl disable firewalld.service

2.2 修改系统内核参数

# vim /etc/sysctl.conf
fs.aio-max-nr = 1048576          
fs.file-max = 76724600          
          
# 可选：kernel.core_pattern = /data01/corefiles/core_%e_%u_%t_%s.%p                   
# /data01/corefiles 事先建好，权限777，如果是软链接，对应的目录修改为777          
          
kernel.sem = 4096 2147483647 2147483646 512000              
# 信号量, ipcs -l 或 -u 查看，每16个进程一组，每组信号量需要17个信号量。          
          
kernel.shmall = 107374182                
# 所有共享内存段相加大小限制 (建议内存的80%)，单位为页。          
kernel.shmmax = 274877906944             
# 最大单个共享内存段大小 (建议为内存一半), >9.2的版本已大幅降低共享内存的使用，单位为字节。          
kernel.shmmni = 819200                   
# 一共能生成多少共享内存段，每个PG数据库集群至少2个共享内存段          
          
net.core.netdev_max_backlog = 10000          
net.core.rmem_default = 262144                 
# The default setting of the socket receive buffer in bytes.          
net.core.rmem_max = 4194304                    
# The maximum receive socket buffer size in bytes          
net.core.wmem_default = 262144                 
# The default setting (in bytes) of the socket send buffer.          
net.core.wmem_max = 4194304                    
# The maximum send socket buffer size in bytes.          
net.core.somaxconn = 4096          
net.ipv4.tcp_max_syn_backlog = 4096          
net.ipv4.tcp_keepalive_intvl = 20          
net.ipv4.tcp_keepalive_probes = 3          
net.ipv4.tcp_keepalive_time = 60          
net.ipv4.tcp_mem = 8388608 12582912 16777216          
net.ipv4.tcp_fin_timeout = 5          
net.ipv4.tcp_synack_retries = 2          
net.ipv4.tcp_syncookies = 1              
# 开启SYN Cookies。当出现SYN等待队列溢出时，启用cookie来处理，可防范少量的SYN攻击          
net.ipv4.tcp_timestamps = 1              
# 减少time_wait          
net.ipv4.tcp_tw_recycle = 0              
# 如果=1则开启TCP连接中TIME-WAIT套接字的快速回收，但是NAT环境可能导致连接失败，建议服务端关闭它          
net.ipv4.tcp_tw_reuse = 1                
# 开启重用。允许将TIME-WAIT套接字重新用于新的TCP连接          
net.ipv4.tcp_max_tw_buckets = 262144          
net.ipv4.tcp_rmem = 8192 87380 16777216          
net.ipv4.tcp_wmem = 8192 65536 16777216          
          
net.nf_conntrack_max = 1200000          
net.netfilter.nf_conntrack_max = 1200000          
          
vm.dirty_background_bytes = 409600000                 
#  系统脏页到达这个值，系统后台刷脏页调度进程 pdflush（或其他） 自动将(dirty_expire_centisecs/100）秒前的脏页刷到磁盘          
#  默认为10%，大内存机器建议调整为直接指定多少字节          
          
vm.dirty_expire_centisecs = 3000                       
#  比这个值老的脏页，将被刷到磁盘。3000表示30秒。          
vm.dirty_ratio = 95                                    
#  如果系统进程刷脏页太慢，使得系统脏页超过内存 95 % 时，则用户进程如果有写磁盘的操作（如fsync, fdatasync等调用），则需要主动把系统脏页刷出。          
#  有效防止用户进程刷脏页，在单机多实例，并且使用CGROUP限制单实例IOPS的情况下非常有效。            
          
vm.dirty_writeback_centisecs = 100                      
#  pdflush（或其他）后台刷脏页进程的唤醒间隔， 100表示1秒。          
          
vm.swappiness = 0          
#  不使用交换分区          
          
vm.mmap_min_addr = 65536          
vm.overcommit_memory = 0               
#  在分配内存时，允许少量over malloc, 如果设置为 1, 则认为总是有足够的内存，内存较少的测试环境可以使用 1 .            
          
vm.overcommit_ratio = 90               
#  当overcommit_memory = 2 时，用于参与计算允许指派的内存大小。          
         
vm.zone_reclaim_mode = 0               
# 禁用 numa, 或者在vmlinux中禁止.           
net.ipv4.ip_local_port_range = 40000 65535              
# 本地自动分配的TCP, UDP端口号范围          
fs.nr_open=20480000          
# 单个进程允许打开的文件句柄上限          
          
# 以下参数请注意          
# vm.extra_free_kbytes = 4096000          
# vm.min_free_kbytes = 2097152  # vm.min_free_kbytes 建议每32G内存分配1G vm.min_free_kbytes         
# 如果是小内存机器，以上两个值不建议设置          
# vm.nr_hugepages = 66536              
#  建议shared buffer设置超过64GB时 使用大页，页大小 /proc/meminfo Hugepagesize          
# vm.lowmem_reserve_ratio = 1 1 1          
# 对于内存大于64G时，建议设置，否则建议默认值 256 256 32 

重新加载修改文件

# sysctl -p

2.3 修改资源限制

# vim /etc/security/limits.conf

# nofile超过1048576的话，一定要先将sysctl的fs.nr_open设置为更大的值，并生效后才能继续设置nofile. * soft nofile 1024000 
* hard nofile 1024000
* soft nproc unlimited 
* hard nproc unlimited 
* soft core unlimited 
* hard core unlimited 
* soft memlock unlimited
* hard memlock unlimited

2.4 配置每台主机的hosts文件

# vim /etc/hosts 
192.168.1.2 master 
192.168.1.3 sdw1 
192.168.1.4 sdw2

2.5 配置集群主机之间免密登录

hostfile内容如下

master 
sdw1 
sdw2

利用gpssh-exkeys配置免密

# gpssh-exkeys -f ./hostfile

3.Greenplum集群安装(所有节点都要执行)

以三台机器进行安装，各个机器安装角色分配如下，规划如下：

主机名	master	standby master	primary	mirror
master	是	否	否	否
sdw1	否	是	是	是
sdw2	否	否	是	是

3.1 创建greenplum管理员用户

# groupadd -g 530 gpadmin 
# useradd -g 530 -u 530 -m -d /home/gpadmin -s /bin/bash gpadmin 
# chown -R gpadmin:gpadmin /home/gpadmin 
# passwd gpadmin

3.2 创建安装目录

# mkdir -p /soft/gp

3.3 在所有主机上安装greenplum

二进制包安装

规划好greenplum安装目录，并将下载的二进制包放在安装目录下。

解压安装包

# unzip greenplum-db-<version>-<platform>.zip

执行安装文件

# chomod u+x greenplum-db-<version>-<platform>.bin 
# /bin/bash greenplum-db-<version>-<platform>.bin

注意：按照提示进行安装，注意选择安装目录，这里安装目录为：/soft/gp，可使用gpadmin用户进行安装，需要确保安装目录有读写权限。

如果使用root用户进行安装，需要修改权限，如下：

# chown -R gpadmin /soft/gp/greenplum* 
# chgrp -R gpadmin /soft/gp/greenplum*

3.4 greenplum目录介绍

greenplum_path.sh：Greenplum数据库环境变量文件
bin：管理工具、客户端程序及服务程序 
docs：帮助文档 
etc：OpenSSL的配置示例
ext：一些GP工具使用的捆绑程序 
inlcude：C头文件 
lib：库文件 
pxf：pxf插件 
sbin：支持的或者内部的脚本和程序 
share：共享文件

3.5 设置gpadmin用户环境变量

# vim ~/.bashrc

# source /soft/gp/greenplum-db/greenplum_path.sh

4. Greenplum集群初始化

4.1 在master节点上切换到gpadmin用户

# su - gpadmin

4.2 创建集群所有主机文件gp_hostlist

master
sdw1 
sdw2

4.3 创建集群segment主机文件segment_hosts

sdw1 
sdw2

4.4 批量创建数据存储目录

# gpssh -f /home/gpadmin/gp_hostlist 
//在所有主机上创建以下3个目录 
=> mkdir -p /soft/gp/data/master # 用于存放master数据 
=> mkdir -p /soft/gp/data/primary # 用于存放segment primary数据 
=> mkdir -p /soft/gp/data/mirror # 用于存放segment mirror数据

4.5 配置集群初始化文件

# cp /soft/gp/greenplum-db/docs/cli_help/gpconfigs/gpinitsystem_config ~ 
# vim gpinitsystem_config 
ARRAY_NAME="greenplum cluster" 
CLUSTER_NAME="greenplum cluster" 
# 所有segment主机列表 
MACHINE_LIST_FILE=segment_hosts 
SEG_PREFIX=gpseg 
PORT_BASE=28000 
# master 节点端口 
MASTER_PORT=5432 
# segment primary数据存储目录 配置2个目录表示每个主机安装2个segment 
declare -a DATA_DIRECTORY=(/soft/gp/data/primary /soft/gp/data/primary) 
# master节点主机名或IP 
MASTER_HOSTNAME=master
#master数据存储目录 
MASTER_DIRECTORY=/soft/gp/data/master 
TRUSTED_SHELL=ssh 
CHECK_POINT_SEGMENTS=8 
ENCODING=UNICODE 
# 默认连接数 
DEFAULT_QD_MAX_CONNECT=1000 
######### 以下是segment mirror节点配置（可选：看你是否需要配置高可用）###### 
MIRROR_PORT_BASE=29000 
REPLICATION_PORT_BASE=30000 
MIRROR_REPLICATION_PORT_BASE=31000 
# segment mirror数据存储目录，注意mirror个数要和primary保持一致 
declare -a MIRROR_DATA_DIRECTORY=(/soft/gp/data/mirror /soft/gp/data/mirror)

4.6 利用gpinitsystem初始化集群

# gpinitsystem -c ~/gpinitsystem_config -s standby_master_hostname -P standby_mster_port --standby-datadir standby_master_datadir

注意上面的初始化命令启用了master节点的高可用节点standby，若你不需要启用高可用，执行如下命令

# gpinitsystem -c ~/gpinitsystem_config

当你看到如下信息表示greenplum集群安装成功

=> Greenplum Database instance successfully created.

4.7 修改greenplum环境变量

# vim greenplum_path.sh 
# 追加如下内容 
export MASTER_DATA_DIRECTORY=/soft/gp/data/master/gpseg-1
export PGDATA=$MASTER_DATA_DIRECTORY 
export PGHOST=127.0.0.1 
export PGPORT=5432 
export PGUSER=gpadmin 
export PGPASSWORD=123456 
export PGDATABASE=postgres

4.8 集群优化参数配置

使用gpconfig进行统一配置

gpconfig -c max_connections -v 5000 -m 1000
gpconfig -c shared_buffers -v '1GB'  
gpconfig -c max_prepared_transactions -v '1500'  
gpconfig -c max_stack_depth -v '4MB'  
gpconfig -c vacuum_cost_delay -v '0'  
gpconfig -c synchronous_commit -v 'off'  
gpconfig -c wal_buffers -v '16MB'  
gpconfig -c wal_writer_delay -v '10ms'  
gpconfig -c checkpoint_segments -v '128' --skipvalidation  
gpconfig -c random_page_cost -v '1.3'  
gpconfig -c log_statement -v 'ddl'  
gpconfig -c vacuum_freeze_table_age -v '1200000000'  
gpconfig -c autovacuum_freeze_max_age -v '1300000000' --skipvalidation  
gpconfig -c autovacuum_vacuum_cost_delay -v '0' --skipvalidation  
gpconfig -c autovacuum -v 'on' --skipvalidation  

4.9 重启集群，使配置生效

# gpstop -r -M fast -a

附录1 greenplum集群监控Greenplum Command Center安装：https://blog.csdn.net/u011563666/article/details/97804497