greenplum 6.7安装文档

最新推荐文章于 2023-10-03 22:55:55 发布

BigDataMK

最新推荐文章于 2023-10-03 22:55:55 发布

阅读量263

点赞数

分类专栏： mpp 大数据数仓文章标签：大数据数据库

本文链接：https://blog.csdn.net/flyinthesky111/article/details/119996995

版权

大数据同时被 3 个专栏收录

13 篇文章 1 订阅

订阅专栏

mpp

11 篇文章 1 订阅

订阅专栏

数仓

2 篇文章 0 订阅

订阅专栏

greenplum 6.7安装文档

资源规划

资源准备

1.系统版本：CentOS Linux release 7.7.1908 (Core)
2.greenplum：greenplum-db-6.7.0-rhel7-x86_64.rpm
3.此处采用了三台机器。分别为doris01,doris02,doris03
4.建议每个segment资源给到8G-16G，或者根据机器核数设置（如果segment主机有两个双核处理器，则每个主机可能有两个或四个segment）。

角色划分

1.master:doris01
2.segment:doris01,doris02,doris03

环境配置

基础环境配置(都修改)

1.禁用selinux
vi /etc/selinux/config
SELINUX=disabled

2.防火墙根据实际情况考虑是否禁用或者只开放部分端口
systemctl stop firewalld.service
systemctl disable firewalld.service

3.hosts文件修改
vi /etc/hosts
192.168.134.128 doris01 doris01
192.168.134.129 doris02 doris02
192.168.134.130 doris03 doris03

系统参数修改(都修改)

1.共享内存设置
查看系统当前参数大小
getconf PAGE_SIZE
getconf _PHYS_PAGES 
计算配置参数
kernel.shmall = ( _PHYS_PAGES / 2)
kernel.shmmax = ( _PHYS_PAGES / 2) * PAGE_SIZE
例如：PAGE_SIZE=4096   _PHYS_PAGES=1965767
需要配置如下：
vi /etc/sysctl.conf
kernel.shmall = 982883
kernel.shmmax = 4025888768
kernel.shmmni = 4096

2.设置segment内存
vi /etc/sysctl.conf
vm.overcommit_memory = 2     //官方推荐始终为2
vm.overcommit_ratio = 95

3.重新加载
sysctl -p

4.系统资源限制
vi /etc/security/limits.conf
* soft nofile 524288
* hard nofile 524288
* soft nproc 131072
* hard nproc 131072

5.修改完成后重启机器，配置生效。测试参数是否正常
reboot
ulimit -u

6.磁盘配置修改(挂载磁盘名称以实际为准)
当前值：
/sbin/blockdev --getra /dev/sda
修改为：
/sbin/blockdev --setra 16384 /dev/sda
查看是否生效：
/sbin/blockdev --setra /dev/sda
编辑文件，永久生效
vi /etc/rc.d/rc.local
加入：
/sbin/blockdev --setra 16384 /dev/sda
修改文件权限：
chmod +x /etc/rc.d/rc.local

7.IPC对象删除
vi /etc/systemd/logind.conf 
修改：
RemoveIPC=no
服务重启：
systemctl restart systemd-logind.service

8.ssh连接数量修改
vi /etc/ssh/ssd_config
修改：
MaxStartups 200
MaxSessions 200
服务重启：
systemctl restart sshd.service

9.修改grub
vi /etc/default/grub
修改：
transparent_hugepage=never
重新加载：
grub2-mkconfig -o /boot/grub2/grub.cfg

10.时间同步，需要三台机器时间一致

11.机器免密配置（三台机器互相免密）

12.创建gpadmin用户，并配置gpadmin用户切root时免密（gpadmin切root时，必须具备免密，否则初始化会有问题）
groupadd gpadmin
useradd gpadmin -r -m -g gpadmin
passwd gpadmin （密码一般也是gpadmin）

安装greenplum

1.安装文件下载
https://github.com/greenplum-db/gpdb/releases
选择6.7.0下载（https://github-releases.githubusercontent.com/44781140/32d1af00-84ae-11ea-90ee-4defe401ea94?X-Amz-Algorithm=AWS4-HMAC-SHA256&X-Amz-Credential=AKIAIWNJYAX4CSVEH53A%2F20210830%2Fus-east-1%2Fs3%2Faws4_request&X-Amz-Date=20210830T020105Z&X-Amz-Expires=300&X-Amz-Signature=d92580e6082ff865efabd5b02a69ce32204f010a43a74bcbb24b0eab01aa3a6b&X-Amz-SignedHeaders=host&actor_id=36362816&key_id=0&repo_id=44781140&response-content-disposition=attachment%3B%20filename%3Dgreenplum-db-6.7.0-rhel7-x86_64.rpm&response-content-type=application%2Foctet-stream）

2.上传文件并安装，三台机器都安装
mkdir -p /opt/software
su gpadmin
cd /opt/software
sudo yum install -y greenplum-db-6.7.0-rhel7-x86_64.rpm
sudo chown -R gpadmin:gpadmin /usr/local/greenplum*

3.配置ssh 名单(master节点)
source /usr/local/greenplum-db/greenplum_path.sh 
cd /usr/local/greenplum-db
vi hostfile_exkeys
doris01
doris02
doris03
进入：
cd /usr/local/greenplum-db
执行：
gpssh-exkeys -f hostfile_exkeys

4.创建数据目录
master节点：
root用户创建：
mkdir -p /data/master
chown gpadmin:gpadmin /data/master

备用master节点：
root用户创建：
mkdir -p /data/master
chown gpadmin:gpadmin /data/master

segment节点：
root创建：
mkdir -p /data/primary    
mkdir -p /data/mirror
chown gpadmin:gpadmin /data/primary
chown gpadmin:gpadmin /data/mirror

5.初始化准备
编辑主机文件，确定segment个数
cd /usr/local/greenplum-db
vi hostfile_gpinitsystem
doris01
doris02
doris03

6.修改初始化文件
vi /usr/local/greenplum-db/docs/cli_help/gpconfigs/gpinitsystem_config
需要修改以下参数：
MASTER_HOSTNAME=doris01
MASTER_DIRECTORY=/data/master
CHECK_POINT_SEGMENTS=3
declare -a MIRROR_DATA_DIRECTORY=(/data/mirror)
declare -a DATA_DIRECTORY=(/data/primary)

7.执行初始化操作(/usr/local/greenplum-db目录下)
vi ~/.bashrc
source /usr/local/greenplum-db/greenplum_path.sh
export MASTER_DATA_DIRECTORY=/data/master/gpseg-1
export PGPORT=5432
export PGUSER=gpadmin
export PGDATABASE=default_login_database_name
export LD_PRELOAD=/lib64/libz.so.1
source .bashrc
source /usr/local/greenplum-db/greenplum_path.sh
gpinitsystem -c  /usr/local/greenplum-db/docs/cli_help/gpconfigs/gpinitsystem_config -h hostfile_gpinitsystem
等待初始化完成（bashrc文件需要全部机器操作，其余master节点即可）。

8.启动gp
gpstart

9.添加mirror
gpaddmirrors -p 1000
输入mirror路径：
/data/mirror

10.查看gp状态
gpstate

11.创建库
createdb -p 5432 -e -U gpadmin test

登录： psql -d test -U gpadmin

BigDataMK

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
greenplum 6.7安装文档

greenplum 6.7安装文档资源规划资源准备1.系统版本：CentOS Linux release 7.7.1908 (Core)2.greenplum：greenplum-db-6.7.0-rhel7-x86_64.rpm3.此处采用了三台机器。分别为doris01,doris02,doris034.建议每个segment资源给到8G-16G，或者根据机器核数设置（如果segment主机有两个双核处理器，则每个主机可能有两个或四个segment）。角色划分1.master:dor
复制链接

扫一扫