Greenplum单机搭建

最新推荐文章于 2024-01-23 15:13:50 发布

阎王㐅

最新推荐文章于 2024-01-23 15:13:50 发布

阅读量861

点赞数 1

文章标签：大数据数据库

本文链接：https://blog.csdn.net/s_trick/article/details/114323082

版权

一、硬件环境

操作系统：CentOS-7-x86_64-DVD-2003.iso

数据库：greenplum-db-6.13.0-rhel7-x86_64.rpm

集群配置：1 master，1 primary segment ， 1个mirror segment

二、系统基本配置

1) 安装编辑工具（新系统）

# 安装Vim文本编辑工具
yum -y install vim*

2) 配置系统环境

# 禁用selinux
vim /etc/selinux/config
SELINUX=disabled
# 关闭防火墙
systemctl stop firewalld
# 禁止防火墙开机自启动
systemctl disable firewalld
# 修改主机名
hostnamectl set-hostname master

3) 配置主机域名

vim /etc/hosts
# 添加格式为=》IP  主机名   主机别名
# mdw只是一个主机的别名，不影响程序去查找IP
127.0.0.1  mdw

在这里插入图片描述

三、配置内核参数

vim /etc/sysctl.conf

#By greenplum(参数可以根据自己系统配置做适当修改)
kernel.shmall = 4000000000
kernel.shmmax = 500000000
kernel.shmmni = 4096
vm.overcommit_memory = 2 
vm.overcommit_ratio = 95 
net.ipv4.ip_local_port_range = 10000 65535 
kernel.sem = 250 64000 100 512
kernel.sysrq = 1
kernel.core_uses_pid = 1
kernel.msgmnb = 65536
kernel.msgmax = 65536
kernel.msgmni = 2048
net.ipv4.tcp_syncookies = 1
net.ipv4.conf.default.accept_source_route = 0
net.ipv4.tcp_max_syn_backlog = 4096
net.ipv4.conf.all.arp_filter = 1
net.core.netdev_max_backlog = 10000
net.core.rmem_max = 2097152
net.core.wmem_max = 2097152
vm.swappiness = 10
vm.zone_reclaim_mode = 0
vm.dirty_expire_centisecs = 500
vm.dirty_writeback_centisecs = 100
vm.dirty_background_ratio = 0 
vm.dirty_ratio = 0
vm.dirty_background_bytes = 1610612736
vm.dirty_bytes = 4294967296

手工执行命令，让参数生效

sysctl -p

在limits.conf文件中添加如下配置

vim /etc/security/limits.conf

# End of file
* soft nofile 65536
* hard nofile 65536
* soft nproc 131072
* hard nproc 131072

四、安装数据库

1) 创建程序包目录

#创建程序包目录
mkdir /opt/software

2) 下载程序文件

CDSN
官网
在这里插入图片描述

3) 上传程序包

使用工具上传程序文件，本章就不细说了。

4) 开始安装

# 打开上传程序的目录
cd /opt/software/
# 安装
yum -y install greenplum-db-6.13.0-rhel7-x86_64.rpm

五、创建用户并授权

#创建用户，并指定路径
useradd gpadmin -d /home/gpadmin 
#创建用户密码
passwd gpadmin 
# 处理指定目录以及其子目录下的所有文件
chown -R gpadmin /usr/local/greenplum*
# 转变文件所属用户组
chgrp -R gpadmin /usr/local/greenplum*

六、创建数据目录

mkdir -p /data/gpdata/master
mkdir -p /data/gpdata/primary
mkdir -p /data/gpdata/mirror

给目录授权

chown -R gpadmin:gpadmin /data/gpdata

七、设置gpadmin用户的环境变量

su - gpadmin
vim .bash_profile
#添加以下内容
source /usr/local/greenplum-db/greenplum_path.sh
export MASTER_DATA_DIRECTORY=/data/gpdata/master/gpseg-1
export PGPORT=5432
export PGUSER=gpadmin
export PGDATABASE=gpdb
 
使环境变量生效：
source .bash_profile

八、数据库配置

1）添加节点服务器文件

vim /home/gpadmin/seg_hosts

mdw

2）设置ssh免密

ssh-keygen #无限回车
ssh-copy-id mdw
gpssh-exkeys -f /home/gpadmin/seg_hosts

3）修改数据库配置文件

cp /usr/local/greenplum-db/docs/cli_help/gpconfigs/gpinitsystem_config /home/gpadmin/

vim gpinitsystem_config

#数据库代号
ARRAY_NAME="Greenplum Data Platform"

#segment前缀
SEG_PREFIX=gpseg

#primary segment起始的端口号
PORT_BASE=6000

#指定primary segment的数据目录，中间空格隔开，表示一台机器有多个segment
declare -a DATA_DIRECTORY=(/data/gpdata/primary)

#master所在机器的host name
MASTER_HOSTNAME=mdw

#master的数据目录
MASTER_DIRECTORY=/data/gpdata/master

#master的端口号
MASTER_PORT=5432

#指定bash的版本
TRUSTED_SHELL=ssh

#将日志写入磁盘的间隔，每个段文件通常 =16MB < 2 * CHECH_POINT_SEGMENTS + 1
CHECK_POINT_SEGMENTS=8

#字符集
ENCODING=UNICODE

#mirror segment 起始的端口号
MIRROR_PORT_BASE=7000

#mirror的数据目录，和主数据一样
declare -a MIRROR_DATA_DIRECTORY=(/data/gpdata/mirror)

#数据库名称
DATABASE_NAME=gpdb

MACHINE_LIST_FILE=/home/gpadmin/seg_hosts

4）运行初始化命令

gpinitsystem -c /home/gpadmin/gpinitsystem_config

5）psql登录

psql -d postgres

6）修改数据库密码

alter role gpadmin password 'gpadmin';

退出：\q

7）远程连接配置

vim /data/gpdata/master/gpseg-1/pg_hba.conf
#添加：
host     all         gpadmin         0.0.0.0/0               md5

#刷新gp使配置生效
[gpadmin@mdw ~]$ gpstop -u