Greenplum6.2.1 安装手记

1.软硬件说明及必要依赖安装

1.1 软硬件说明

1. 系统版本:centos7.0
2. 硬件：3台虚拟机，2核，16G内存，50G硬盘
3. 实验节点规划一个master, 4个segment,4个mirror,无standby

主机ip	host	节点规划
172.28.25.201	mdw	master
172.28.25.202	sdw1	seg1,seg2,mirror3,mirror4
172.28.25.203	sdw2	seg3,seg4,mirror1,mirror2

1.2 必要依赖安装

与旧版本差异点
gp4.x 无安装依赖检查步骤
gp5.x 使用rpm安装需要检查安装依赖
gp6.2 使用rpm需要检查安装依赖,使用yum install安装 会自动安装依赖，前提条件是需要联网 
GP6.X RPM版本安装前需要检查软件依赖，安装过程需要联网，若为内网机，需要先下载好相应的包。

1.2.1 批量安装依赖包（需联网）

    greenplum 5 是用rpm命令的，而greenplum 6 则用 yum install 直接安装依赖。

sudo yum install -y apr apr-util bash bzip2 curl krb5 libcurl libevent libxml2 libyaml zlib  openldap openssh openssl openssl-libs perl readline rsync R sed tar zip krb5-devel 

1.2.2 内网机需要人工下载后再上传至服务器

注意：操作系统版本位数 ，例如本次虚拟机是: el6.x86_64

[root@mdw ~]# uname -a
Linux mdw 2.6.32-642.el6.x86_64 #1 SMP Wed Apr 13 00:51:26 EDT 2016 x86_64 x86_64 x86_64 GNU/Linux

下载地址: http://rpmfind.net/linux/rpm2html/search.php

1.2.3 linux中离线下载

条件：
1. 与安装gp 集群相同版本的操作系统
2. 可联外网

yumdownloader --destdir ./ --resolve libyaml 

2 配置系统参数

## 与旧版本差异点 
gp6 无gpcheck 检查工具，但在gpinitsystem 环节会检查系统参数。 若不按照官方推荐参数修改，不影响集群安装，会影响集群性能 

• 系统参数需要使用root用户修改，修改完需要重启系统，也可以修改完成后一并重启系统。
• 建议先修改master主机的参数，待安装好master的gp后，打通ssh,使用gpscp ，gpssh 批量修改其他节点的系统参数
• 参考文档：https://gpdb.docs.pivotal.io/6-2/install_guide/prep_os.html

2.1 关闭防火墙

2.1.1 检查SElinux(Security-Enhanced Linux)

使用root用户查看

[root@mdw ~]# sestatus
SELinux status:                 disabled

如果 SELinux status != disabled ，修改 /etc/selinux/config 设置 ，随后重启系统（可以调节完参数后一并重启）

SELINUX=disabled

2.1.2 检查 iptables 状态

[root@mdw ~]# /sbin/chkconfig --list iptables
iptables        0:off   1:off   2:off   3:off   4:off   5:off   6:off

如果状态没关闭，则修改，随后重启系统（可以调节完参数后一并重启）

/sbin/chkconfig iptables off

2.1.3 检查firewalld（centos6 一般没有）

[root@mdw ~]# systemctl status firewalld

如果firewalld 关闭，则输出

* firewalld.service - firewalld - dynamic firewall daemon
   Loaded: loaded (/usr/lib/systemd/system/firewalld.service; disabled; vendor preset: enabled)
   Active: inactive (dead)

如果状态没关闭，则修改，随后重启系统（可以调节完参数后一并重启）

[root@mdw ~]# systemctl stop firewalld.service
[root@mdw ~]# systemctl disable firewalld.service

2.2 配置host

2.2.1 配置每台机器host

配置master hostname 为mdw， 其他segment 主机的hostname 不是必须配置项。
修改各台主机的主机名称。
一般建议的命名规则如下:
Master :mdw
Standby Master :smdw
egment Host :sdw1、 sdw2 … sdwn
修改操作:

#零时修改
hostname mdw
#永久修改
vi /etc/sysconfig/network

2.2.2 配置/etc/hosts

#添加每台机器的ip 和别名
[root@mdw ~]# cat /etc/hosts
127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
172.28.25.201 mdw
172.28.25.202 sdw1
172.28.25.203 sdw2
#修改集群中所有主机的hosts 文件，登陆到各个主机，执行一下语句：
cat >> /etc/hosts << EOF
172.28.25.201 mdw
172.28.25.202 sdw1
172.28.25.203 sdw2
EOF

2.3 配置sysctl.conf 

根据系统实际情况来修改系统参数（gp 5.0 之前都是官方给出的默认值，5.0 之后给出了部分计算公式。）
官方推荐配置，设置完成后 重载参数（ sysctl -p）：

# kernel.shmall = _PHYS_PAGES / 2 # See Shared Memory Pages  # 共享内存
kernel.shmall = 4000000000
# kernel.shmmax = kernel.shmall * PAGE_SIZE                  # 共享内存
kernel.shmmax = 500000000
kernel.shmmni = 4096
vm.overcommit_memory = 2 # See Segment Host Memory           # 主机内存
vm.overcommit_ratio = 95 # See Segment Host Memory           # 主机内存

net.ipv4.ip_local_port_range = 10000 65535 # See Port Settings 端口设定
kernel.sem = 500 2048000 200 40960
kernel.sysrq = 1
kernel.core_uses_pid = 1
kernel.msgmnb = 65536
kernel.msgmax = 65536
kernel.msgmni = 2048
net.ipv4.tcp_syncookies = 1
net.ipv4.conf.default.accept_source_route = 0
net.ipv4.tcp_max_syn_backlog = 4096
net.ipv4.conf.all.arp_filter = 1
net.core.netdev_max_backlog = 10000
net.core.rmem_max = 2097152
net.core.wmem_max = 2097152
vm.swappiness = 10
vm.zone_reclaim_mode = 0
vm.dirty_expire_centisecs = 500
vm.dirty_writeback_centisecs = 100
vm.dirty_background_ratio = 0 # See System Memory       # 系统内存
vm.dirty_ratio = 0
vm.dirty_background_bytes = 1610612736
vm.dirty_bytes = 4294967296

# 共享内存
# kernel.shmall = _PHYS_PAGES / 2
# kernel.shmmax = kernel.shmall * PAGE_SIZE

[root@mdw ~]# echo $(expr $(getconf _PHYS_PAGES) / 2)                   
2041774 
[root@mdw ~]# echo $(expr $(getconf _PHYS_PAGES) / 2 \* $(getconf PAGE_SIZE))
8363106304

#主机内存
vm.overcommit_memory 系统使用该参数来确定可以为进程分配多少内存。对于GP数据库，此参数应设置为2。
vm.overcommit_ratio 以为进程分配内的百分比，其余部分留给操作系统。在Red Hat上，默认值为50。建议设置95

#计算 vm.overcommit_ratio
vm.overcommit_ratio = (RAM-0.026*gp_vmem) / RAM

#端口设定
为避免在Greenplum初始化期间与其他应用程序之间的端口冲突，指定的端口范围 net.ipv4.ip_local_port_range。
使用gpinitsystem初始化Greenplum时，请不要在该范围内指定Greenplum数据库端口。
例如，如果net.ipv4.ip_local_port_range = 10000 65535，将Greenplum数据库基本端口号设置为这些值。
PORT_BASE = 6000
MIRROR_PORT_BASE = 7000

# 系统内存
系统内存大于64G ,建议以下配置
vm.dirty_background_ratio = 0
vm.dirty_ratio = 0
vm.dirty_background_bytes = 1610612736 # 1.5GB
vm.dirty_bytes = 4294967296 # 4GB

系统内存小于等于 64GB，移除vm.dirty_background_bytes 设置，并设置以下参数
vm.dirty_background_ratio = 3
vm.dirty_ratio = 10

增加 vm.min_free_kbytes ，确保网络和存储驱动程序PF_MEMALLOC得到分配。这对内存大的系统尤其重要。一般系统上，默认值通常太低。可以使用awk命令计算vm.min_free_kbytes的值，通常是建议的系统物理内存的3％：

awk 'BEGIN {OFMT = "%.0f";} /MemTotal/ {print "vm.min_free_kbytes =", $2 * .03;}' /proc/meminfo >> /etc/sysctl.conf 

不要设置 vm.min_free_kbytes 超过系统内存的5％，这样做可能会导致内存不足

本次实验使用redhat6.8 ,16G内存，配置如下：

[root@mdw ~]# vi /etc/sysctl.conf
[root@mdw ~]# sysctl -p
kernel.shmall = 2041774
kernel.shmmax = 8363106304
kernel.shmmni = 4096
vm.overcommit_memory = 2
vm.overcommit_ratio = 95
net.ipv4.ip_local_port_range = 10000 65535
kernel.sem = 500 2048000 200 40960
kernel.sysrq = 1
kernel.core_uses_pid = 1
kernel.msgmnb = 65536
kernel.msgmax = 65536
kernel.msgmni = 2048
net.ipv4.tcp_syncookies = 1
net.ipv4.conf.default.accept_source_route = 0
net.ipv4.tcp_max_syn_backlog = 4096
net.ipv4.conf.all.arp_filter = 1
net.core.netdev_max_backlog = 10000
net.core.rmem_max = 2097152
net.core.wmem_max = 2097152
vm.swappiness = 10
vm.zone_reclaim_mode = 0
vm.dirty_expire_centisecs = 500
vm.dirty_writeback_centisecs = 100
vm.dirty_background_ratio = 3
vm.dirty_ratio = 10

2.4 系统资源限制

修改/etc/security/limits.conf ，增加以下参数:

* soft nofile 524288
* hard nofile 524288
* soft nproc 131072
* hard nproc 131072

• “*” 星号表示所有用户
• noproc 是代表最大进程数
• nofile 是代表最大文件打开数
• RHEL / CentOS 6 修改：/etc/security/limits.d/90-nproc.conf 文件的nproc 为131072
• RHEL / CentOS 7 修改：/etc/security/limits.d/20-nproc.conf 文件的nproc 为131072

[root@mdw ~]# cat  /etc/security/limits.d/90-nproc.conf
# Default limit for number of user's processes to prevent
# accidental fork bombs.
# See rhbz #432903 for reasoning.

*          soft    nproc     131072
root       soft    nproc     unlimited

linux模块pam_limits 通过读取 limits.conf文件来设置用户限制.
重启后生效，ulimit -u 命令显示每个用户可用的最大进程数max user processes。验证返回值为131072。

2.5 XFS挂载选项

XFS相比较ext4具有如下优点：

1. XFS的扩展性明显优于ext4，ext4的单个文件目录超过200W个性能下降明显
2. ext4作为传统文件系统确实非常稳定，但是随着存储需求的越来越大，ext4渐渐不在适应
3. 由于历史磁盘原因，ext4的inode个数限制(32位),最多只能支持40多亿个文件，单个文件最大支持到16T
4. XFS使用的是64位管理空间，文件系统规模可以达到EB级别，XFS是基于B+Tree管理元数据

GP 需要使用XFS的文件系统，RHEL/CentOS 7 和Oracle Linux将XFS作为默认文件系统，SUSE/openSUSE已经为XFS做了长期支持。由于本次虚拟机只有一块盘，并且是系统盘，无法再改文件系统。此处略过挂在xfs。

## 与旧版本差异点 
gp6 无gpcheck 检查工具，所以不改文件系统，不影响集群安装
gp6 之前版本 gpcheck检查文件系统不通过时，可注释掉gpcheck脚本检查文件系统的部分代码。 

例如挂载新xfs步骤：
1 、 分区及格式化:

 mkfs.xfs /dev/sda3  mkdir -p /data/master 

2、