Greenplum6安装指南

最新推荐文章于 2024-08-01 08:23:29 发布
最新推荐文章于 2024-08-01 08:23:29 发布
阅读量1.1k 收藏 4
点赞数 1
文章标签： 数据库 大数据 centos
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_37138915/article/details/107348825
版权

公司业务要更换服务器，对gp一知半解的我找了很多文档，结合了很多资料才安装成功，网上很多资料都是gp4或者更早的版本，这里记录一下gp6安装的最全步骤。
参考的一些文档：https://copyfuture.com/blogs-details/20200316122110528l3xw1wnt2cchri4
https://blog.csdn.net/u013767472/article/details/101195614#%E4%B8%89%E3%80%81%E5%AE%89%E8%A3%85GreenPlum%E6%95%B0%E6%8D%AE%E5%BA%93%EF%BC%8C%E5%B9%B6%E9%85%8D%E7%BD%AEgpadmin%E7%94%A8%E6%88%B7
https://blog.csdn.net/whq12789/article/details/103510726?utm_medium=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-3.nonecase&depth_1-utm_source=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-3.nonecase
gp6.2.1企业版安装包：https://download.csdn.net/download/weixin_37138915/12609662

安装前集群分配

因需求用到7台服务器，1台master，1台standby，5台segment(这里采用2主2从 根据需求而定)

172.168.XX.1	Master
172.168.XX.2	Standby
172.168.XX.3	Segment
172.168.XX.4	Segment
172.168.XX.5	Segment
172.168.XX.6	Segment
172.168.XX.7	Segment

批量安装依赖包

这些是安装gp所需的依赖包，本地环境服务器都安装了的可跳过

yum install -y apr apr-util bash bzip2 curl krb5 libcurl libevent libxml2 libyaml zlib openldap openssh openssl openssl-libs perl readline rsync R sed tar zip krb5-devel

关闭SELINUX与防火墙（全部机器）

看很多安装文档之前都写着关闭防火墙与selinux，防火墙可以理解，但是SELinux是什么呢？SELinux策略是白名单原则，所以你需要非常清楚你的各项操作都需要哪些访问权限，之前本人用过阿里的云主机，提供的centos默认是关闭的，然后试过测试环境下分布式hadoop，在不关闭的情况下SSH连接各主机会有问题…具体是因为什么有待研究。

  • 检查SELinux 如果为enable就是开启状态
/usr/sbin/sestatus -v
  • 关闭SELinux
vi /etc/selinux/config 
SELINUX=disabled
  • 检查防火墙状态 若为Active:active(running)则开启
systemctl status firewalld.service
  • 停止防火墙(防火墙的是centos7命令)
systemctl stop firewalld.service
  • 永久关闭防火墙(开机不启动)
systemctl disable firewalld.service

配置/etc/hosts（全部机器）

验证配置成功可以在机器之间用ping测试看下能否连通

172.168.XX.1	mdw
172.168.XX.2	smdw
172.168.XX.3	sdw1
172.168.XX.4	sdw2
172.168.XX.5	sdw3
172.168.XX.6	sdw4
172.168.XX.7	sdw5

修改内核配置参数 (全部机器)

  • /etc/sysctl.conf

官网文档直接拉的：

kernel.shmall = 4000000000
kernel.shmmax = 500000000
kernel.shmmni = 4096
vm.overcommit_memory = 2
vm.overcommit_ratio = 95
net.ipv4.ip_local_port_range = 10000 65535
kernel.sem = 500 2048000 200 40960
kernel.sysrq = 1
kernel.core_uses_pid = 1
kernel.msgmnb = 65536
kernel.msgmax = 65536
kernel.msgmni = 2048
net.ipv4.tcp_syncookies = 1
net.ipv4.conf.default.accept_source_route = 0
net.ipv4.tcp_max_syn_backlog = 4096
net.ipv4.conf.all.arp_filter = 1
net.core.netdev_max_backlog = 10000
net.core.rmem_max = 2097152
net.core.wmem_max = 2097152
vm.swappiness = 10
vm.zone_reclaim_mode = 0
vm.dirty_expire_centisecs = 500
vm.dirty_writeback_centisecs = 100
vm.dirty_background_ratio = 0
vm.dirty_ratio = 0
vm.dirty_background_bytes = 1610612736
vm.dirty_bytes = 4294967296
  • 让配置生效
sysctl -p

配置资源限制参数 (全部机器)

  • vi /etc/security/limits.conf
* soft nofile 524288
* hard nofile 524288
* soft nproc 131072
* hard nproc 131072

“*” 星号表示所有用户
nproc 是代表最大进程数
nofile 是代表最大文件打开数 重启后生效
ulimit -u 命令显示每个用户可用的最大进程数验证返回值为131072

同步时间

  • 查看是否是上海时区
 timedatectl status
  • 不是的话就修改 这里我的环境是没有问题的 这一步没有测试过
timedatectl set-timezone Asia/Shanghai

创建用户与用户组（全部机器）

  • 如果存在 先删除
groupdel gpadmin
userdel gpadmin
  • 创建新的用户与用户组
groupadd -g 530 gpadmin
useradd -g 530 -u 530 -m -d /home/gpadmin -s /bin/bash gpadmin
  • 文件夹授权与创建密码
chown -R gpadmin:gpadmin /home/gpadmin/
passwd gpadmin

创建安装目录与授权（全部机器）

mkdir /usr/local/greenplum
chown -R gpadmin:gpadmin /usr/local/greenplum/

上传安装包到服务器上并安装（Master）

这里我是用了xftp上传的，用的是企业版本的gp6.2.1，企业版本的180M左右，开源版的不到100M，据说开源版的用不了gpcc，具体也没用过；把rpm包拉到刚刚创建的路径下：/usr/local/greenplum

  • 如果是rpm包：
cd /usr/local/greenplum
yum install greenplum-db-6.1.2-rhel7-x86_64.rpm
  • 如果是zip包：
cd /usr/local/greenplum
unzip greenplum-db-6.1.2-rhel7-x86_64.zip
chmod +x greenplum-db-6.1.2-rhel7-x86_64.bin
./greenplum-db-6.1.2-rhel7-x86_64.bin

gp5版本是用rpm命令的，gp6直接yum install安装，通过yum方便不少，如果安装过程出问题直接yum remove卸载再重头再来。

  • 赋予权限
    安装后默认生成在/usr/local/greenplum-db-6.1.2/里，因为是用root用户安装，所以要赋权给gpadmin：
chown -R gpadmin:gpadmin /usr/local/greenplum*
  • 应用Greenplum环境变量
su gpadmin
source /usr/local/greenplum-db-6.1.2/greenplum_path.sh

source之后就可以用gp的命令了。

批量安装到segment对应的机器（其他六台）

  • SSH免密登陆（其他六台）
    首先创建公钥对，生成时不要输入密码，这里是用gpadmin用户，生成的位置在/home/gpadmin/.ssh/id_rsa，是私钥。另外，还会产生一个公钥 id_rsa.pub
ssh-keygen -t rsa
> /home/gpadmin/.ssh/id_rsa
> 回车
> 回车
  • 添加信任其他机器的Host key（其他六台）
ssh-copy-id smdw
ssh-copy-id mdw1
ssh-copy-id mdw2
ssh-copy-id mdw3
ssh-copy-id mdw4
ssh-copy-id mdw5

在集群的每一台使用 ssh-copy-id 命令，把 gpadmin 的 public key 拷到 known_hosts。这样，集群的机器互相访问就是通过这个设定互相信任的。

  • 创建hostlist seg_hosts (Master)
    hostlist放全部主机的名字，seg_hosts放segment主机别名：
mkdir /usr/local/conf
cd /usr/local/conf
touch hostlist
vi hostlist
>mdw 
>smdw 
>sdw1 
>sdw2 
>sdw3
>sdw4
>sdw5
touch seg_hosts
vi seg_hosts
>sdw1 
>sdw2 
>sdw3
>sdw4
>sdw5
  • 使用 gpssh-exkeys 打通所有服务器 (Master)

将所有机器的通道打开，这样在每台机器之间跳转，就不需要输入密码。

cd /home/gpadmin/conf
gpssh-exkeys -f hostlist
  • gpssh批量操作

在打通所有机器通道之后，我们就可以使用 gpssh 命令对所有机器进行批量操作了,可以用pwd测试一下，exit退出

gpssh -f hostlist
pwd
exit
  • 打包（批量操作）

权限问题，可以用root用户打包，再把权限赋给gpadmin

cd /usr/local
tar -cf gp6.tar greenplum-db-6.1.2/
chown -R gpadmin:gpadmin /usr/local/gp6.tar
  • 分发（批量操作）
gpscp -f /home/gpadmin/conf/hostlist gp6.tar =:/usr/local/greenplum
  • 解压（批量操作）
cd /usr/local/greenplum
tar -xf gp6.tar
ln -s greenplum-db-6.1.2 greenplum-db

觉得复杂的话可以xftp传到各机器上，保证在统一目录下。

创建数据存储空间（批量操作）

因为我这里是用了两主两从存储数据，继续上面的批量操作：

cd /home/gpadmin/
mkdir gpdata
cd gpdata
mkdir gpmaster gpdatap1 gpdatap2 gpdatam1 gpdatam2
ll
exit

环境配置（全部机器）

vi ~/.bash_profile 
source /usr/local/greenplum/greenplum-db-6.2.1/greenplum_path.sh
## 指定master存储地址适配
export MASTER_DATA_DIRECTORY=/data/gpdata/gpmaster/gpseg-1 
export PGPORT=5432
export PGDATABASE=testdb
## 使得变量生效
source ~/.bash_profile

顺便检查一下greenplum_path.sh里面GPHOME的位置有没有问题

初始化配置文件（Master）

  • 拷贝配置文件

有模版可以拷贝，先创建个文件夹，再把模版拷贝过来

 mkdir /home/gpadmin/gpconfigs
 cp /usr/local/greenplum-db-6.2.1/docs/cli_help/gpconfigs/gpinitsystem_config /home/gpadmin/gpconfigs/gpinitsystem_config
  • 编辑gpinitsystem_config
#数据库代号
ARRAY_NAME="Greenplum"
#segment前缀
SEG_PREFIX=gpseg
#primary segment 起始的端口号
PORT_BASE=40000
#指定primary segment的数据目录,网上写的是多个相同目录，多个目录表示一台机器有多个segment
declare -a DATA_DIRECTORY=(/home/gpadmin/data/gpdatap1 /home/gpadmin/data/gpdatap2)
#master所在机器的host name
MASTER_HOSTNAME=mdw
#master的数据目录
MASTER_DIRECTORY=/home/gpadmin/data/master
#master的端口
MASTER_PORT=5432
#指定bash的版本
TRUSTED_SHELL=/usr/bin/ssh
#将日志写入磁盘的间隔，每个段文件通常 =16MB < 2 * CHECK_POINT_SEGMENTS + 1
CHECK_POINT_SEGMENTS=8
#字符集
ENCODING=UNICODE
#mirror segment 起始的端口号
MIRROR_PORT_BASE=50000
# mirror的数据目录，和主数据一样，一个对一个，多个对多个
declare -a MIRROR_DATA_DIRECTORY=(/home/gpadmin/data/datam1 /home/gpadmin/data/gpdatam2)

创建一个文件把数据节点的名字放入

cd /home/gpadmin/gpconfigs
touch hostfile_gpinitsystem
vi hostfile_gpinitsystem
>sdw1 
>sdw2 
>sdw3
>sdw4
>sdw5

初始化数据库（Master）

cd ~
gpinitsystem -c gpconfigs/gpinitsystem_config -h gpconfigs/hostfile_gpinitsystem

时间可能比较久，千万不要随便CtrlC退出，直到看到Greenplum Database instance successfully created,
初始化成功。

初始化Standby

gpinitstandby -s smdw

修改pg_hba.conf文件连接

vi /home/gpadmin/gpdata/gpmaster/gpseg-1/pg_hba.conf 
** 添加
host all all 0.0.0.0/0 md5

测试验证

  • 使用psql登陆数据库
psql -d postgres
  • \q退出数据库
  • \l显示数据库列表

查看集群状态

gpstate

自此，greenplum-6.2.1安装大功告成～

Kelvin仔
关注
  • 1
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
GreenPlum安装指南
MyySophia的博客
07-09 457
一、 二、GreenPlum的机器选型 每个raid组的条带大小256KB 三、 3.1 系统准备之OS 3.2 最小硬件要求 3.3 存储 3.4 容量估算 24*1.2 3.5 操作系统内核调优 3.6 时钟设置 3.7 系统资源限制 3.8 磁盘I/O及其他参数 3.9 创建用户 注意GID 和UID GP 软件安装(建立互信和目录) GP软件安装(检查性能) GP 数据库初...
greenplum 6.7安装文档
齐天大圣数据候的博客
08-30 270
greenplum 6.7安装文档 资源规划 资源准备 1.系统版本：CentOS Linux release 7.7.1908 (Core) 2.greenplum：greenplum-db-6.7.0-rhel7-x86_64.rpm 3.此处采用了三台机器。分别为doris01,doris02,doris03 4.建议每个segment资源给到8G-16G，或者根据机器核数设置（如果segment主机有两个双核处理器，则每个主机可能有两个或四个segment）。 角色划分 1.master:dor
Greenplum 6安装指南（CentOS 7.X）
SaySyan的博客
05-27 584
一、基本概念 Greenplum是一个面向数据仓库应用的关系型数据库，因为有良好的体系结构，所以 在数据存储、高并发、高可用、线性扩展、反应速度、易用性和性价比等方面有非常 明显的优势。Greenplum是一种基于PostgreSQL的分布式数据库，其采用sharednothing架构，主机、操作系统、内存、存储都是自我控制的，不存在共享。 本质上讲Greenplum是一个关系型数据库集群，它实际上是由数个独立的数据库服务 组合成的逻辑数据库。与RAC不同，这种数据库集群采取的是MPP（Massively
Greenplum集群部署安装指南
冯凵凵的博客
10-26 1568
目录 一.官方安装链接 二.Greemplum安装文件下载 2.安装Greenplum (1)安装gpdb (2)设置免密登录 (3)上创建hostlist、standby_seg_hosts、seg_only (4)使用gpssh-exkeys打通所有服务器 (5)确认安装 3.创建数据存储区 (1)在master机器上创建数据存储区 (2)在stand by机器上创建数据存储区 (3)在segment机器上创建数据存储区 4.初始化数据库 (1)创建初始化配置文件 (2)执
greenplum—1、部署安装
蓝魔的博客
06-14 2452
greenplum 部署安装
greenplum 安装指导
Brighter_Xiao的博客
11-27 582
前面我们已经介绍了 greenplum 的架构， 若不清楚，请再次查看greenplum架构介绍 本次介绍组镜像架构模式的安装 ，版本5.2 分步指南 注意： 磁盘空间的 评估，生产上建议使用 raid10需要磁盘空间最小总大小 = 用户总数据 *2/0.7，一般数据库大小是 纯文本大小的1.4倍 1. 系统配置 1.1 系统版本支持 Red Hat Enterprise Linux 64-bi...
GreenPlum工具gpload安装指南
IHai技术之家
11-01 2095
一、介质准备 Gploader介质需从官方下载，下载地址：Download VMware Tanzu™ Greenplum® — VMware Tanzu Network GreenPlum6.0及之后的版本loader与client合并在了一起，因此只需要根据操作系统下载client的相应介质： 在6.0之前的版本中client与loader是分开的，因此要分别下载client和loader的介质： 二、安装过程 gpload依赖于python2.7，因此首先要在环境中安装python.
Centos7.6 下安装GreenPlum 6.10.1
Brent的专栏
08-28 3465
文章目录1.安装说明2.准备工作2.1 配置host2.2 配置sysctl.conf文件2.3 配置limits.conf2.4 关闭防火墙和selinux2.5 创建gp用户2.6 安装依赖包2.7 创建数据目录2.8 磁盘IO配置2.9 关闭透明大页(THP)2.10 IPC对象删除2.11 SSH连接阈值2.12 时钟同步(NTP)3.安装GP数据库软件3.1 安装GP数据库3.2 配置SSH等价3.3 在所有节点配置ssh等价3.4 安装文件说明4.创建数据存储区域4.1 在master和stan
CentOS7下安装GreenPlum6
icegloves的博客
01-17 1659
GreenPlum的RPM安装 @下载地址：https://github.com/greenplum-db/gpdb/releases @阿里云新用户优惠链接：https://www.aliyun.com/activity/daily/bestoffer?userCode=40hhhswk @阿里云老用户优惠链接：https://www.aliyun.com/daily-act/ecs/care?userCode=40hhhswk 文章目录GreenPlum的RPM安装一、系统与环境说明二、服务器环境
GreenPlum 安装指导
01-30
Greenplum DW/BI软件可以在虚拟化x86服务器上运行无分享（shared-nothing）的大规模并行处理（MPP）架构.
Greenplum_安装指南--Linux
06-21
Greenplum_安装指南-
greenplum 6.0 安装相关
05-15
9. **安装步骤**：`greenplum安装步骤 - copy.txt`很可能是一个详细的安装指南，包括了从配置环境到启动数据库的每一步骤。按照这个文档的指示进行操作，可以避免安装过程中的错误。 在安装Greenplum 6.0时，务必...
Greenplum分布式一键安装及卸载脚本
02-28
1. **一键安装文档.doc**：这是整个安装过程的指南，包含了从系统准备到安装步骤的详细说明，确保用户能够按照步骤顺利执行。文档中可能会涵盖硬件需求、软件依赖、环境配置等关键信息，以及如何运行安装脚本的具体...
GreenPLum6-1.pdf
12-17
GreenPlum6官方文档中文翻译，如下为节选： 有关配置，管理和监控Greenplum数据库安装以及管理，监控和使用数 据库的信息。该指南还包含有关Greenplum数据库架构和概念（例如 并行处理）的信息。 Greenplum...
简单的 mongoDB 学习
qq_19342829的博客
07-31 547
mongodb入门学习整理
社区养老服务小程序的设计
Karen198的博客
07-31 629
管理员账户功能包括：系统首页，个人中心，用户管理，服务人员管理，服务产品管理，服务预约管理，服务状态管理，服务退订管理，活动管理，视频管理。主要技术：Java,Spring,mybatis,mysql,jquery,html。服务器：SpringBoot自带 apache tomcat。微信端账号功能包括：系统首页，服务产品，活动，视频，我的。JDK版本：Java JDK1.8。数据库可视化工具： navicat。数据库版本： mysql5.7。开发工具：IDEA(推荐)开发系统：Windows。
MySQL备份与恢复
最新发布
m0_74860678的博客
08-01 604
在生产环境中，数据的安全性至关重要任何数据的丢失都可能产生严重的后果造成数据丢失的原因程序错误人为操作错误运算错误磁盘故障灾难（如火灾、地震）和盗窃# 开启二进制日志功能[mysqld]# 重启服务# 有 mysql-bin.000001 就代表成功。
杂谈 | windows批处理脚本 | 配置项目环境变量
zwcslj的博客
07-31 1274
命令回显功能是指在运行命令或脚本时，系统将命令的执行过程和结果显示在屏幕上，使用户能够实时地看到命令的执行情况。通常，当命令回显功能打开时，在执行每一步命令时，系统将会显示执行的命令本身以及对应的结果，从而帮助用户了解命令的执行过程，排查可能出现的问题。关闭回显时，命令提示符不会出现在“命令提示符”窗口中。若要再次显示命令提示符，请键入 echo on。
Greenplum数据库安装指南：Linux环境安装与配置
Greenplum安装指南Linux(GP官方教材)-相当经典适用 本文档提供了Greenplum数据库的安装指南，主要介绍了Greenplum的基本架构、硬件配置要求、系统环境设置、安装步骤、初始化、启动和停止操作、测试等知识点。 **...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值