基于centos 搭建GP集群

最新推荐文章于 2023-04-27 16:49:42 发布
最新推荐文章于 2023-04-27 16:49:42 发布
阅读量769 收藏 4
点赞数
分类专栏： 大数据 文章标签： postgresql
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_36723038/article/details/118405133
版权

1.1 软件版本

名称版本
操作系统CentOS Linux release 7.9.2009 (Core)
版本GreenPlum 6.1.0

1.2 集群介绍

使用1个master，n个segment的集群示例：

服务器IP地址节点名称
172.168.10.2gp-master
172.168.10.56gp-sdw1

其中172.168.10.2为master，其余为segment。

master节点GP安装

2.1.1修改 /etc/hosts文件

注意事项：（master节点的主机名必须要修改成gp-master ）
在/etc/hosts文件添加所有节点地址和名称

在这里插入图片描述

2.1.2 修改 etc/sysconfig/network文件
HOSTNAME是master节点名称
在这里插入图片描述

2.1.3 修改 /etc/sysctl.conf文件

![\[root@gp-master ~\]# vi /etc/sysctl.conf 
kernel.shmmni = 4096
kernel.shmall = 4000000000
kernel.sem = 250 512000 100 2048
kernel.sysrq = 1
kernel.core_uses_pid = 1
kernel.msgmnb = 65536
kernel.msgmax = 65536
kernel.msgmni = 2048
net.ipv4.tcp_syncookies = 1
net.ipv4.ip_forward = 0
net.ipv4.tcp_tw_recycle = 1
net.ipv4.tcp_max_syn_backlog = 4096
net.ipv4.conf.defalut.arp_filter = 1
net.ipv4.ip_local_port_range = 1025 65535
net.core.netdev_max_backlog = 10000
net.core.rmem_max = 2097152
net.core.wmem_max = 2097152
vm.overcommit_memory = 2](https://img-blog.csdnimg.cn/20210702093521216.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNjcyMzAzOA==,size_16,color_FFFFFF,t_70)

[root@gp-master ~]# sysctl -p #使配置生效

2.1.4 修改 /etc/security/limits.d/90-nproc.conf文件
在这里插入图片描述

2.1.5 修改 /etc/security/limits.conf文件
[root@gp-master ~]# vi /etc/security/limits.conf
在这里插入图片描述

2.2 安装依赖和Greenplum 2.2.1 安装Gp依赖

  安装扩展源

epel-release

在这里插入图片描述

批量安装依赖包 ，建议先安装gcc，再批量安装其他依赖包

yum -y install apr-devel \
	bison \
	bzip2-devel \
	cmake3 \
	flex \
	gcc \
	gcc-c++ \
	krb5-devel \
	libcurl-devel \
	libevent-devel \
	libkadm5 \
	libxml2-devel \
	libzstd-devel \
	openssl-devel \
	perl-ExtUtils-Embed \
	python3-devel \
	python3-pip \
	readline-devel \
	xerces-c-devel \
	zlib-devel \
	apr-util \
	perl \
	curl \
	libnsl

在这里插入图片描述

2.2.2 安装GP

[root@gp-master ~]# mkdir -p /gpdb #创建GreenPlum文件夹
[root@gp-master ~]# yum -y install wget #安装wget
[root@gp-master ~]# wget -p https://github.com/greenplum-db/gpdb/releases/download/6.12.0/greenplum-db-6.1.0-ubuntu18.04-amd64.deb /gpdb #下载rpm安装包到/gpdb路径
[root@gp-master ~]# rpm -ivh --prefix=/gpdb /gpdb/greenplum-db-6.1.0-rhel7-x86_64.rpm #安装GreenPlum到/gpdb路径

三、segment节点GP安装

3.1 segment节点

在master节点复制配置文件和安装包到segment节点

[root@gp-master ~]# do scp /etc/hosts root@gp-sdw1:/etc/hosts ; done
[root@gp-master ~]# do scp etc/sysconfig/network root@gp-sdw1:etc/sysconfig/network ; done
[root@gp-master ~]# do scp /etc/sysctl.conf root@gp-sdw1:/etc/sysctl.conf ; done
[root@gp-master ~]# do scp /etc/security/limits.d/90-nproc.conf root@gp-sdw1:/etc/security/limits.d/90-nproc.conf ; done
[root@gp-master ~]# do scp /etc/security/limits.conf root@gp-sdw1:/etc/security/limits.conf ; done
[root@gp-master ~]# do scp /gpdb/greenplum-db-6.1.0-rhel7-x86_64.rpm root@gp-sdw1/gpdb ; done
[root@gp-master ~]# sysctl -p #使配置生效

3.2 segment节点安装GP依赖

注：与2.21小节相同

3.3 segment节点安装GP


```bash
mkdir /gpdb #创建GreenPlum文件夹
	rpm -ivh --prefix=/gpdb /gpdb/greenplum-db-6.1.0-rhel7-x86_64.rpm #安装GreenPlum到/gpdb路径


## 配置集群免密连接

## 4.1 创建gpadmin用户

## 4.1.1 所有节点创建gpadmin用户
	
```bash
groupadd -g 530 gpadmin
useradd -g 530 -u 530 -m -d /home/gpadmin -s /bin/bash gpadmin
chown -R gpadmin:gpadmin /home/gpadmin
echo "gpadmin" | passwd --stdin gpadmin

4.1.2 所有节点修改gpadmin用户操作权限

chown -R gpadmin:gpadmin /gpdb

4.2 ssh免密配置（gpadmin用户）

4.2.1 所有节点创建.ssh文件

su - gpadmin #切换到gpadmin用户
ssh localhost #生成.ssh文件

4.2.2 所有节点生成公钥和私钥（gpadmin用户）

ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa

4.2.3 所有节点创建认证文件

在master节点生成authorized_keys文件，将authorized_keys文件复制到segment节点
[root@gp-master ~]# su - gpadmin
[gpadmin@gp-master ~]# cd /home/gpadmin/.ssh
[gpadmin@gp-master .ssh]# ssh-copy-id gp-master #生成authorized_keys文件
[gpadmin@gp-master .ssh]# do ssh gpadmin@gp-sdw1 cat /home/gpadmin/.ssh/id_rsa.pub >> /home/gpadmin/.ssh/authorized_keys; done #将segment节点公钥追加到master节点authorized_keys文件
[gpadmin@gp-master .ssh]#   do scp /home/gpadmin/.ssh/authorized_keys gpadmin@gp-sdw1:/home/gpadmin/.ssh/authorized_keys ; done #将uthorized_keys文件复制到egment节点

4.2.4 所有节点重启ssh服务（root用户）

sudo systemctl restart sshd.service

4.3 打通集群节点
4.3.1 master节点创建hostlist和seg_hosts文件
hostlist文件包含所有节点名称

[root@gp-master ~]# su - gpadmin
[gpadmin@gp-master ~]# mkdir -p /home/gpadmin/conf
[gpadmin@gp-master ~]# vi /home/gpadmin/conf/hostlist
gp-master
gp-sdw1
gp-sdw2

[gpadmin@gp-master ~]# vi /home/gpadmin/conf/seg_hosts
gp-sdw1
gp-sdw2
gp-sdw3

gp-sdw4

4.3.2 配置节点免密连接

[root@gp-master ~]# su - gpadmin
[gpadmin@gp-master ~]$ source /gpdb/greenplum-db/greenplum_path.sh
[gpadmin@gp-master ~]$ gpssh-exkeys -f /home/gpadmin/conf/hostlist
	completed successfully 测试免密连接

[gpadmin@gp-master ~]$ gpssh -f /home/gpadmin/conf/hostlist
=> pwd
[  gp-sdw1] /home/gpadmin
=> exit

五、初始化GreenPlum集群

5.1 环境配置
5.1.1 添加gp编译的python包

注意lib-python的版本
[root@gp-master ~]# echo "/gpdb/greenplum-db/lib/python" > /usr/lib64/python3.6/site-packages/greenplum.pth
[root@gp-master ~]# vi /etc/ld.so.conf
/gpdb/greenplum-db/lib
[root@gp-master ~]# ldconfig

5.1.2 创建资源目录

[root@gp-master ~]# su - gpadmin
[gpadmin@gp-master ~]$ mkdir -p /gpdb/opt/data/master #在master节点创建资源目录
 #在segment节点创建资源目录
[gpadmin@gp-master ~]$ source /gpdb/greenplum-db/greenplum_path.sh
[gpadmin@gp-master ~]$ gpssh -f /home/gpadmin/conf/seg_hosts
=> mkdir -p /gpdb/opt/data1/primary
[gp-sdw1]
=> mkdir -p /gpdb/opt/data1/mirror
[gp-sdw1]
=> exit
 ---------按需求创建

5.1.3 master节点配置环境变量

在master节点/home/gpadmin/.bash_profile添加内容

[gpadmin@gp-master ~]$ vi /home/gpadmin/.bash_profile
 添加
source /gpdb/greenplum-db/greenplum_path.sh
export MASTER_DATA_DIRECTORY=/gpdb/opt/data/master/gpseg-1
export GPPORT=5432
export PGDATABASE=gp_sydb
  将.bash_profile复制到segment节点
[gpadmin@gp-master ~]$ do scp /home/gpadmin/.bash_profile 
  
 让变量生效
=> source .bash_profile
[  gp-sdw1

]
=> exit
5.1.4 NTP配置

[root@gp-master ~]# echo "server gp-master perfer" >>/etc/ntp.conf
[root@gp-master ~]# su - gpadmin
[gpadmin@gp-master ~]$ gpssh -f /home/gpadmin/conf/hostlist -v -e 'sudo ntpd'
[gpadmin@gp-master ~]$ gpssh -f /home/gpadmin/conf/hostlist -v -e 'sudo /etc/init.d/ntpd start && sudo chkconfig --level 35 ntpd on'

5.2 初始化数据库
5.2.1 检查节点间连通性

[gpadmin@gp-master ~]$ cd /gpdb/greenplum-db/bin
[gpadmin@gp-master bin]$ gpcheckperf -f /home/gpadmin/conf/hostlist -r N -d /tmp

5.2.2 创建Greenplum初始化配置文件

[gpadmin@gp-master ~]$ cd /gpdb/greenplum-db/docs/cli_help/gpconfigs
[gpadmin@gp-master gpconfigs]$ cp gpinitsystem_config initgp_config #复制配置文件模板
[gpadmin@gp-master gpconfigs]$ vi initgp_config #修改配置文件

#资源目录，与5.1.2章节保持一致

 
declare -a DATA_DIRECTORY=(/gpdb/opt/data1/primary /gpdb/opt/data2/primary)
declare -a MIRROR_DATA_DIRECTORY=(/gpdb/opt/data1/mirror /gpdb/opt/data2/mirror) #取消注释
 
ARRAY_NAME=”gp_sydb”                                   #5.1.3章节配置的初始化数据库名称
MASTER_HOSTNAME=gp-master                              #主节点名称
MASTER_DIRECTORY=/gpdb/opt/data/master                 #在5.1.2章节创建的资源目录
MASTER_DATA_DIRECTORY=/gpdb/opt/data/master/gpseg-1    #与5.1.2章节配置一样
MIRROR_PORT_BASE=7000                                  #取消注释    
DATABASE_NAME=gp_sydb                                  #取消注释；5.1.3章节配置的初始化数据库名称
MACHINE_LIST_FILE=/home/gpadmin/conf/seg_hosts         #取消注释；4.3.1章节创建的segment节点名称文件
  所有节点更新gpadmin用户操作权限

chown -R gpadmin:gpadmin /gpdb

5.3 初始化和登录
5.3.1 执行初始化

集群初始化

[gpadmin@gp-master ~]$ cd /gpdb/greenplum-db/docs/cli_help/gpconfigs
[gpadmin@gp-master gpconfigs]$ gpinitsystem -c initgp_config
查看集群状态

gpstate -e #查看mirror的状态
gpstate -f #查看standby master的状态
gpstate -s #查看整个GP群集的状态
gpstate -i #查看GP的版本
gpstate --help #帮助文档，可以查看gpstate更多用法

5.3.2 数据库登录

  完成初始化后登录数据库

psql -d postgres

在这里插入图片描述

postgres=# \l #查询数据库

在这里插入图片描述

设置远程访问密码

登录后输入
alter user gpadmin encrypted password 'password';

在这里插入图片描述

配置数据库白名单

[gpadmin@gp-master ~]$ vi /gpdb/opt/data/master/gpseg-1/pg_hba.conf #在master资源目录pg_hba.conf文件中添加白名单

在这里插入图片描述
在这里插入图片描述

输入 gpstop -u 生效

启动和停止Greenplum数据库

启动Greenplum数据库

gpstart

重新启动Greenplum数据库，停止Greenplum数据库系统，然后重新启动它。

gpstop -r

仅重新加载配置文件更改，将更改重新加载到Greenplum数据库配置文件，而不会中断系统。

gpstop -u

在维护模式下启动主机，仅启动主服务器以执行维护或管理任务，而不会影响段上的数据。

gpstart -m

停止Greenplum数据库

gpstop

要以快速模式停止Greenplum数据库

gpstop -M fast
渔老师
关注
  • 0
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
gp集群搭建安装文档
01-29
亲身实践并写的文档，适合做分布式集群部署，gp数据库性能高，多节点
GP集群测试
08-01
gp集群测试，包含添加服务器配置，增加服务器数量，以及增加segment数量对查询的影响
03 gp 集群搭建
970655147的专栏
07-31 1124
前言 呵呵 最近有一系列环境搭建的相关需求 记录一下 gp 三个节点 : 192.168.110.72, 192.168.110.73, 192.168.110.75 72 为 master, 73 为 slave01, 75 为 slave02 三台机器都做了 trusted shell gp 单节点 docker 搭建 参照Docker Hub gp 搭建步骤 三节点集群 72, 73, 75 三台机器 72 作为 admin, 73, 75 作为 seg.
linux下greenplum（gp）数据库集群安装
07-09
国内gp资料较少，网上关于gp安装的资料都不全，本资料是笔者在vm虚拟机上成功安装gp数据库集群整理所得，包含了几个关键的出错点，希望对大家按照gp集群有所帮助
DM数据库对比Greenplum之GP数据库集群部署
qq_43596835的博客
09-23 1088
Greenplum是基于PostgreSQL开发的关系型分布式数据库，它在开源的PG(PostgreSql)的基础上采用MPP架构（Massive Parallel Processing,海量并行处理），具有强大的大规模数据分析任务处理能力。
centos7搭建mysql集群
05-15
centos7搭建mysql集群，包含整个搭建步骤，部分错误解决方案
基于centos的大数据hadoop集群搭建说明文档
10-30
【标题】：基于CentOS的大数据Hadoop集群搭建详解 【描述】：本教程专为初学者设计，详细阐述了如何手动搭建Hadoop集群，步骤详尽，易于理解。 【标签】：Hadoop集群搭建 【正文】： Hadoop是一个开源的分布式...
基于CentOS的集群搭建
12-03
关于在CentOS上的集群搭建的步骤，十分详细。每步的命令都有。
centos6.8搭建hadoop集群
01-07
1.准备一台干净的centos6.8虚拟机 2.关闭防火墙 1.临时关闭防火墙 service iptables stop 2.关闭防火墙自启动 chkconfig iptables off 3.查看防火墙状态 service iptables status 3.设置静态ip vim /etc/...
基于CentOS搭建Python Django环境过程解析
09-16
主要介绍了基于CentOS搭建Python Django环境过程解析,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
在虚拟机(linux)安装greenplum分布式数据库
02-24
在虚拟机(linux)安装greenplum分布式数据库
greenplum集群搭建操作步骤（CentOS7.5）
03-21
文档描述了本人在公司环境搭建greenplum集群的具体操作步骤，从安装到建库表的详细操作都做个记录，OS为CentOS7.5 集群情况：一台master节点，三台数据节点；本次安装没有装standyby节点。
GP集群部署(6.11.2)
三思的博客
11-30 2306
文章目录一、资源规划1.1 环境配置信息1.2 资源规划二、操作系统配置2.1 修改主机名2.2 关闭防火墙与selinux2.3 挂载磁盘2.4 配置sysctl.conf2.5 修改系统资源限制2.6 磁盘I/O调度算法2.7 磁盘I/O调度算法2.8 禁用透明大页面2.9 配置NTF时钟三、GP集群搭建3.1 下载安装依赖包3.2 创建数据库用户3.3 安装greenplum程序3.4 配置all_host、seg_host文件3.5 配置免密互信3.6 打通gpadmin 用户免密登录3.7 批量设
Greenplum 6.17 集群搭建
m0_51192710的博客
02-24 1246
Greenplum 6.17 集群搭建 Host ip 功能 master 192.168.2.20 master segment1 192.168.2.21 segment segment2 192.168.2.22 segment 密码是 1 二、环境说明 名称 说明 操作系统 Centos7 数据库安装包 open-source-greenplum-db-6.17.2-rhel7-x86_64.rpm 三、安装前准备 1、虚拟机最小安装
MongoDB -- 集群搭建
GP的空间
06-02 582
参考：http://www.lanceyan.com/category/tech/mongodb/page/2受机器的限制，我这里使用一台机器，2个mongoDB模拟的集群， 机器ip：192.168.146.129 Mongo端口：27017、27018创建2个Mongo的存放目录 进入到mongo的bin目录启动Mater启动./mongod --dbpath /data/mongoClu
greenplum 集群搭建
jinzhiyong01的博客
07-23 676
1.准备环境 1.1集群介绍 数据库版本：greenplum-db-5.20.0-build-1-RHEL5-x86_64.zip greenplum集群中,2台机器IP分别是 [root@BI-greenplum-01 ~]# cat /etc/hosts 127.0.0.1 localhost localhost.localdomain ::1 localhos...
【GP】快速搭建gp集群
cml2016的博客
07-10 830
1上传已编译完的包至/data/目录 2.解压 3 修改gpadmin的环境变量 [gpadmin@DB-01 ~]$ more .bash_profile #...
九、GP安装笔记-GP集群调优
dockj的博客
03-20 2154
一、配置文件 GP集群数据库服务的配置文件存储在segment目录上，分为master节点和其他的segment节点，master节点配置存储在： $MASTER_DATA_DIRECTORY/postgresql.conf segment节点的配置文件存储在对应segment节点目录下的postgresql.conf，一些配置master节点和segment节点会存在差异。 二、配置项说明 ...
gp集群参数优化
missAthin的专栏
04-27 439
gpstart的时候出错：gpstart error: Do not have enough valid segments to start the array.参数单位写错，正确的格式gpconfig -c wal_buffers -v 256MB。进入gpstart (gpstart -a -m)紧急模式，覆盖原有参数。修改参数：gpconfig -c wal_buffers -v 256M。
centos rabbbitmq搭建集群
最新发布
08-28
RabbitMQ是一个流行的开源消息中间件，CentOS是一个流行的Linux操作系统，下面是在CentOS上搭建RabbitMQ集群的步骤： 1. 在每个节点上安装Erlang：RabbitMQ是使用Erlang编写的，因此需要首先安装Erlang编程语言的...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值