centos7 单机安装 greenplum6

一、前言

安装版本：6.15.0
安装包：greenplum-db-6.15.0-rhel7-x86_64.rpm
官方下载地址：https://network.pivotal.io/products/vmware-tanzu-greenplum#/releases/326063/file_groups/1521

安装按照如下设置进行
主机ip：10.58.11.100
主机名：hostofgpinstall
初始化gp数据库：hdw

二、安装

（一）安装前准备

#关闭防火墙
sudo chkconfig iptables off
sudo systemctl stop firewalld.service
sudo systemctl disable firewalld.service

#改为：SELINUX=disabled
sudo vi /etc/selinux/config

#增加本机为gp作业的master 数据节点
sudo vi /etc/hosts

hosts文件中对照添加或修改如下内容

#hosts配置更改内容，第一行也加一下
#这行对应修改一下
127.0.0.1 hostofgpinstall localhost localhost.localdomain localhost4 localhost4.localdomain4
#下面三行添加上去
10.58.11.100 hostofgpinstall hostofgpinstall
10.58.11.100 sdw1 sdw1
10.58.11.100 sdw2 sdw2

#创建用户组及用户，并指定用户home位置/home/gpdata  设定用户密码
sudo groupadd -g 530 gpadmin
sudo mkdir /home/gpdata
sudo useradd -u 3030 gpadmin -g gpadmin -d /home/gpdata
sudo passwd gpadmin
 
#切换到用户 gpadmin
su - gpadmin
mkdir -p /home/gpdata
mkdir -p /home/gpdata/master
mkdir -p /home/gpdata/gp1
mkdir -p /home/gpdata/gp2

cd /home/gpdata
mkdir gpconfig
cd gpconfig
vi all_hosts 

新建文件all_hosts内容，包含master和 segment 的全部主机名称，如下

hostofgpinstall
sdw1
sdw2

vi all_segs

新建文件all_segs内容，包含segment的所有主机名，如下

sdw1
sdw2

#配置内核
sudo vi /etc/sysctl.conf

sysctl.conf 对照添加或修改如下内容

kernel.sem = 250 64000 100 512
kernel.shmmax = 500000000
kernel.shmmni = 4096
kernel.shmall = 4000000000
kernel.sysrq = 1
kernel.core_uses_pid = 1
kernel.msgmnb = 65536
kernel.msgmax = 65536
net.ipv4.tcp_syncookies = 1
net.ipv4.ip_forward = 0
net.ipv4.conf.default.accept_source_route = 0
net.ipv4.tcp_tw_recycle=1
net.ipv4.tcp_max_syn_backlog=4096
net.ipv4.conf.all.arp_filter = 1
net.ipv4.conf.default.arp_filter = 1
net.core.netdev_max_backlog=10000
vm.overcommit_memory=2

sudo vi /etc/security/limits.conf

limits.conf 文件对照修改或添加如下内容

* soft nofile 65536
* hard nofile 65536
* soft nproc 131072
* hard nproc 131072

（二）安装

#添加执行权限，并安装
chmod +x greenplum-db-6.15.0-rhel7-x86_64.rpm 
sudo rpm -Uvh greenplum-db-6.15.0-rhel7-x86_64.rpm 
#安装目录文件赋权给gpadmin
sudo chown -R gpadmin /usr/local/greenplum*
sudo chgrp -R gpadmin /usr/local/greenplum*
#设置环境变量
source /usr/local/greenplum-db-6.15.0/greenplum_path.sh

#切换回用户gpadmin
su - gpadmin
cd /home/gpdata
#设置用户环境变量
vi .bash_profile

上传了我的整个文件内容，需要参考修改的为注释后半部分，若没有该文件，自己创建一个

# .bash_profile
# Get the aliases and functions
if [ -f ~/.bashrc ]; then
        . ~/.bashrc
fi
export PS1='[\u@\h \w]'
# User specific environment and startup programs
PATH=$PATH:$HOME/.local/bin:$HOME/bin
PATH=$PATH:/usr/install/apache-maven-3.3.9/bin
export PATH
export NODE_PATH="/usr/lib/node_modules:/usr/local/lib/node_modules"
#如下为配置改动部分
source /usr/local/greenplum-db-6.15.0/greenplum_path.sh
export MASTER_DATA_DIRECTORY=/home/gpdata/master/gpseg-1
export PGPORT=5432
export PGUSER=gpadmin
export PGDATABASE=hdw

vi .bashrc

.bashrc文件添加如下内容，同样的，如果文件夹中没有该文件，自主添加下

source /usr/local/greenplum-db-6.15.0/greenplum_path.sh
export MASTER_DATA_DIRECTORY=/home/gpdata/master/gpseg-1
export PGPORT=5432
export PGUSER=gpadmin
export PGDATABASE=hdw

source .bash_profile
source .bashrc

打通各个节点之间的ssh连接，这里如果报错也没有关系，后面的验证通过就可以了

cd /home/gpdata/gpconfig
gpssh-exkeys -f all_hosts 

如下步骤执行如下，则说明节点之间ssh节点已经打通

[gpadmin@hostofgpinstall ~/gpconfig]
[gpadmin@hostofgpinstall ~/gpconfig]gpssh -h bigdata-test
=> echo $HOSTNAME
[hostofgpinstall] hostofgpinstall
=> exit 

[gpadmin@hostofgpinstall ~/gpconfig]
[gpadmin@hostofgpinstall ~/gpconfig]gpssh -h sdw1
=> echo $HOSTNAME
[sdw1] hostofgpinstall
=> exit 

[gpadmin@hostofgpinstall ~/gpconfig]
[gpadmin@hostofgpinstall ~/gpconfig]gpssh -h sdw2
=> echo $HOSTNAME
[sdw2] hostofgpinstall
=> exit 

[gpadmin@hostofgpinstall ~/gpconfig]

cd /home/gpdata/gpconfig
#复制 gp初始化配置文件 gpinitsystem_config 到当前目录
cp /usr/local/greenplum-db-6.15.0/docs/cli_help/gpconfigs/gpinitsystem_config .

修改gpinitsystem_config 文件中的如下内容

declare -a DATA_DIRECTORY=(/home/gpdata/gp1 /home/gpdata/gp2)
MASTER_HOSTNAME=hostofgpinstall
MASTER_DIRECTORY=/home/gpdata/master
MASTER_PORT=5432
DATABASE_NAME=hdw
MACHINE_LIST_FILE=/home/gpdata/gpconfig/all_segs

#切换回root用户 修改/etc/ssh/ssh_config 文件
sudo vi /etc/ssh/ssh_config
#  设置参数 GSSAPIAuthentication no

#初始化gp
cd /home/gpdata/gpconfig
gpinitsystem -c gpinitsystem_config

（三）安装完成验证

#安装完成验证，进入命令行，使用hdw数据库
psql -d hdw
#展示gp的所有数据库
\l

（四）问题解决

1、远程连接失败，报错：FATAL: no pg_hba.conf entry for host “xx.xx.xx.xx”, user “gpadmin”, databas

#/home/gpdata/master/gpseg-1/pg_hba.conf
#/home/gpdata/gp1/gpseg0/pg_hba.conf
#/home/gpdata/gp2/gpseg1/pg_hba.conf
#如上三个文件中，添加
host all all 0/0 trust
#意为 所有主机所有用户均可以远程连接

#重启后生效
gpstop 
gpstart

2、第一次安装失败，重新安装时，删除原有的安装内容

# 查找安装的内容
rpm -qa | grep greenplum*
yum remove greenplum-db-6-6.15.0-1.el7.x86_64 -y