GreenPlum学习总结

最新推荐文章于 2022-10-23 22:47:19 发布
置顶 最新推荐文章于 2022-10-23 22:47:19 发布
阅读量640 收藏 3
点赞数
分类专栏： greenplum
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_44119575/article/details/113341693
版权
本文详细记录了在CentOS7.5环境下安装GreenPlum 6.0.13的过程，包括硬件与软件环境配置、内核参数调整、selinux与防火墙设置、数据库初始化、远程访问配置等步骤。同时，文章提到了一些性能优化参数，如全局死锁检测和禁用GPORCA优化器，并分享了GreenPlum的基本架构知识。
摘要由CSDN通过智能技术生成

GreenPlum学习总结

一、测试环境

1.硬件环境：

集群版
操作系统：CentOS Linux release 7.5.1804 （3台）
内存大小：16G
磁盘大小：500G
CPU型号:8核(Intel® Xeon® CPU E5-2670 0 @ 2.60GHz)

2.软件环境：

软件版本节点
gp 集 群greenplum-db-6.0.13-rhel7-x86_64.rpmmaster主机不存放数据，两个sdw各两个节点一共四个segment（主节点+镜像节点）

点击这里官网下载

二、安装步骤

1.安装greenplum

1.创建用户和组gpadmin

sudo groupadd -g 530 gpadmin #创建用户组
sudo useradd -g 530 -u 530 -m -d /home/gpadmin -s /bin/bash gpadmin #创建用户，并指定路径
passwd gpadmin #创建用户密码

2.配置内核参数，添加如下内容：

vi /etc/sysctl.conf

#By greenplum
net.ipv4.ip_forward = 0
net.ipv4.conf.default.accept_source_route = 0
kernel.sysrq = 1
kernel.core_uses_pid = 1
net.ipv4.tcp_syncookies = 1
kernel.msgmnb = 65536
kernel.msgmax = 65536
kernel.sem = 250 64000 100 512
kernel.shmmax = 500000000
kernel.shmmni = 4096
kernel.shmall = 4000000000
kernel.sem = 250 64000 100 512
net.ipv4.tcp_tw_recycle=1
net.ipv4.tcp_max_syn_backlog=4096
net.core.netdev_max_backlog=10000
vm.overcommit_memory=2
net.ipv4.conf.all.arp_filter = 1
# 以上参数可以根据自己系统配置做适当修改
# 手工执行命令，让参数生效
sysctl -p

3.安装之前先关闭selinux和防火墙，以后要开防火墙，可以只允许gp数据库端口即可

关闭、开启防火墙
systemctl start firewalld.service#启动firewall
systemctl stop firewalld.service#停止firewall
systemctl disable firewalld.service#禁止firewall开机启动
systemctl enable firewalld.service＃允许firewall开机启动
 
关闭selinux
sed -i '/SELINUX/s/enforcing/disabled/' /etc/selinux/config
改完后重启

开启防火墙，预留gp端口
firewall-cmd --zone=public --permanent --add-port=5432/tcp
重载服务
firewall-cmd --reload
检测端口是否开启
firewall-cmd --query-port=5432/tcp

4.在limits.conf文件中添加如下限制参数

vi /etc/security/limits.conf

* soft nofile 65536
* hard nofile 65536
* soft nproc 131072
* hard nproc 131072

5.修改每个机器的hostname

vi /etc /hostname
hostnamectl set-hostname mdw（永久强制修改）

6.配置地址别名

在每个节点执行下面的操作。通过 vi /etc/hosts来进行编辑：

10.15.20.110  mdw
10.15.20.111  sdw1
10.15.20.112  sdw2

7.配置ssh直接访问

在mdw节点，切换用户为gpadmin:gpadmin，接下来的操作是要在gpadmin的权限下进行。

su gpadmin
ssh-keygen （一路回车）
ssh-copy-id sdw1
ssh-copy-id sdw2

8.安装greenplum集群

#安装gp软件
su - root
cd /usr/local/
sudo dpkg -i greenplum-db-6.13.0-ubuntu18.04-amd64.deb
#修改gp安装目录权限
chown -R gpadmin:gpadmin /usr/local/greenplum-db*

9.在所有节点执行下面的操作：

mkdir -p /data/greenplum_data/primary
mkdir -p /data/greenplum_data/mirror
mkdir -p data/greenplum_data/gpmaster
chown -R gpadmin:gpadmin /data/   # 给实例目录授权

10.初始化环境（！！！！！一下操作只在mdw节点进行即可）

(1）登录gpadmin用户执行脚本。

su gpadmin
. /usr/local/greenplum-db-6.13.0/greenplum_path.sh

(2)编辑gpinitsystem_config文件（参考的是/usr/local/greenplum-db-6.13.0/docs/cli_help/gpconfigs/gpinitsystem_config 这里建议自己生成）

vi gpinitsystem_config

# 数据库的代号
ARRAY_NAME="Greenplum Data Platform"
# 数据库的数据节点名称文件
MACHINE_LIST_FILE=./hostfile_segments
# 指定Primary Segment的数据目录
declare -a DATA_DIRECTORY=(/data/greenplum_data/primary /data/greenplum_data/primary)  #一台机器几个节点建立几个文件
# Master 所在机器的Hostname
MASTER_HOSTNAME=mdw 
# 指定Master的数据目录                      					    
MASTER_DIRECTORY=/data/greenplum_data/gpmaster
# Segment的名称前缀               
SEG_PREFIX=gpseg												
# Primary Segment骑士的端口号
PORT_BASE=6000
# Master的端口
MASTER_PORT=5432
# Mirror Segment起始的端口号
MIRROR_PORT_BASE=43000
# Primary Segment 主备同步的起始端口号
REPLICATION_PORT_BASE=34000
#Mirror Segment主备同步的起始端口号
MIRROR_REPLICATION_PORT_BASE=44000
# Bash版本
TRUSTED_SHELL=ssh
CHECK_POINT_SEGMENTS=8
# 字符集
ENCODING=UNICODE
# Mirror Segment的数据目录
declare -a MIRROR_DATA_DIRECTORY=(/data/greenplum_data/mirror /data/greenplum_data/mirror)
# 初始化数据库名称
DATABASE_NAME=postgres

(3)编辑hostfile_allhosts
这个文件包含你所有的节点。

mdw
sdw1
sdw2

(4)编辑hostfile_segments
这个文件包含你所有的数据节点。我的mdw节点不存放数据，故不当数据节点。

sdw1
sdw2

(5) 配置 .bash_profile 环境变量

vi /home/gpadmin/.bash_profile

source /usr/local/greenplum/greenplum-db-6.13.0/greenplum_path.sh
export MASTER_DATA_DIRECTORY=/data/greenplum_data/gpmaster/gpseg-1
export PGPORT=5432

• 使之生效

 source /home/gpadmin/.bash_profile

(6)初始化集群

gpinitsystem -c /home/gpadmin/gpinitsystem_config

到这里就安装完成了！！！！
11.开启远程访问数据库(mdw节点)

vi /data/greenplum_data/gpmaster/gpseg-1/pg_hba.conf
host     all         all         0.0.0.0/0     trust      #加在文件最后

12.访问数据库

psql -p 5432 postgres

2.安装pgAdmin4 (选择性安装)

gp专用数据库管理软件

  1. 官网下载
  2. 安装步骤
  3. pgAdmin4 汉化

三、常用命令

1.配置

gpstop -u                   #在不停止集群情况下，修改reload配置文件
gpstate –m | -e             # 查看集群状态
gpstop –a –r         	    # 重启集群
gpstop –a  					# 重启集群

2.使用

GreenPlum 集群常用命令
GreenPlum 数据库操作常用命令
GreenPlum 集群常用命令

四、insert性能优化

调整的参数如下：
(1)全局死锁检测开关
在Greenplum 6中其默认关闭，需要打开它才可以支持并发更新/删除操作；
gpconfig -c gp_enable_global_deadlock_detector -v on

(2) 禁用GPORCA优化器（据说GPDB6默认的优化器为：GPORCA）    **查询时开启**
gpconfig -c optimizer -v off

(3)关闭日志
此GUC减少不必要的日志，避免日志输出对I/O性能的干扰。
gpconfig -c log_statement -v none
greenplum 6.13.0测试结果
默认参数1w / 46468ms
调成后参数1w / 3764ms

五、体系架构初学习

  1. Greenplum介绍
  2. 镜像介绍>>>>>>>>segment 镜像机制详解>>>>>>>>添加镜像步骤
  3. Greenplum扩容节点步骤
  4. 分布键学习

参考链接：

https://www.jianshu.com/p/3aa44b38e3af
https://www.cnblogs.com/scoter2008/p/5928972.html
https://www.cnblogs.com/FreeFire/p/13298076.html
https://blog.csdn.net/u012878005/article/details/81237602

是哒不溜啊
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Greenplum学习
angeling2009的专栏
02-10 387
执行计划 关联键 执行sql操作时，需要进行数据关联的键值，比如group by，join 分布键 根据一个键值，将数据分布在不同的segment上 广播和重分布 数据的初次分布是通过分布键将数据分布在不同的segment上，但是当某个表的关联键与分布键不是同一个键时，需要通过重分布或者广播来实现数据关联 前提：a表关联键是分布键，b表关联键不是分布键，进行a、b表关联（此处两表关联不是重点，关联键是做数据关联，并不是表关联） 类别 操作 操作的数据量和选择 重分布 通
greenplum学习总结
weixin_34033624的博客
10-19 171
一般地，greenplum的每个segment节点对应一个网口NIC，一个物理CPU，一个磁盘控制器，以便同机器的多个segment之间互不影响。greenplum的备份，提供了gp_dump做并行备份，master和segment节点同时执行备份操作，另外gp_crondump会定期执行备份操作；支持PostgreSQL的pg_dump和pg_dumpall命令，但是其将所...
海量数据处理利器greenplum——初识
08-17 524
简介及适用场景 如果想在数据仓库中快速查询结果，可以使用greenplum。 Greenplum数据库也简称GPDB。它拥有丰富的特性： 第一，完善的标准支持：GPDB完全支持ANSI SQL 2008标准和SQL OLAP 2003 扩展；从应用编程接口上讲，它支持ODBC和JDBC。完善的标准支持使得系统开发、维护和管理都大为方便。而现在的 NoSQL，NewSQL和Hadoo...
greenplum学习
dahetrade的博客
09-19 603
 海量数据处理利器greenplum——初识 - skyme - 博客园 http://www.cnblogs.com/skyme/p/5779885.html greenplum数据库引擎探究  http://www.cnblogs.com/daduxiong/archive/2010/10/13/1850411.html Greenplum技术浅析  http://w
GreenPlum入门学习手册
11-02
无共享、大规模并行处理（massively parallel processing (MPP)）的数据库软件产品GreenPlum；分布式数据仓库。
greenplum学习整理
qq_27235723的博客
10-23 696
greenplum学习
GreenPlum最全学习手册
最新发布
02-04
### GreenPlum最全学习手册知识点详解 #### 一、GreenPlum数据库概述 - **定义**：GreenPlum是一款专为数据仓库设计的关系型数据库管理系统。它基于PostgreSQL开发，利用先进的分布式技术实现了高性能的大数据处理...
greenplum学习笔记
10-15
greenplum学习笔记，学习过程中总结的greenplum学习笔记，学习过程中总结的
Greenplum官方学习手册
11-05
### Greenplum官方学习手册知识点概述 #### 一、Greenplum架构与原理 1. **Greenplum架构介绍** - **分布式架构**：Greenplum采用了MPP（Massively Parallel Processing）大规模并行处理架构，能够实现数据在多个...
greenplum-db-6.13.0-rhel7-x86_64.zip
12-12
总结，Greenplum是一个强大的大数据分析平台，通过并行计算和智能优化，使得海量数据处理变得简单高效。了解其核心特性、安装过程及使用技巧，对于从事大数据工作的专业人员来说至关重要。通过不断学习和实践，可以...
Greenplum(青梅)学习日志
user_zongji的博客
10-14 582
Greenplum学习日志一、Greenplum概述二、Greenplum特性二、Greenplum基操1.启动数据库三、PostgreSQL基操 一、Greenplum概述 是一款开源的分布式数据库存储解决方案，其主要关注在数据仓库和商业智能方面。可以在虚拟化x86服务器上运行无分享（shared-nothing）的大规模并行处理（MPP）架构。 Greenplum是基于PostgreSQL(类mysql)开发,二者匹配度高 二、Greenplum特性 支持海量数据存储和处理 高性价比(相比于ha
GreenPlum学习（二）
eff666的博客
08-26 1386
1、 Greenplum概述简单地说，GreePlum就是一个与Oracle、DB2、PostgreSQL—样面向对象的关系型数据库。我们通过标准的SQL可以对Greenplum中的数据进行访问存取。在Greenplum中，需要存储的数据在进人数据库时，将先 进行数据分布的处理工作，将一个表中的数据平均分布到每个节点上，并为每个表指定一 个分发列（distribute Column),之后便根据Ha
Greenplum学习笔记 --- Greenplum
杨鑫newlife的专栏
01-20 1146
Greenplum学习笔记 --- Greenplum
1 Greenplum架构学习讲解
murkey的专栏
04-23 636
Greenplum架构学习讲解 Greenplum架构学习讲解1、什么是Greenplum2、Greenplum 体系架构2.1 Greenplum Master2.2 Greenplum Segment2.3 网络配置示例3 Greenplum 高可用性体系架构3.1 Master/Standby 镜像保护3.2 数据冗余-Segment 镜像保护3.3 网络冗余4 Greenplum 应用场...
GreenPlum学习笔记：create table创建表
weixin_30470857的博客
08-01 890
　　二维表同样是GP中重要的存储数据对象，为了更好的支持数据仓库海量数据的访问，GP的表可以分成： 面向行存储的普通堆积表 面向列存储的AOT表（append only table） 　　当然AOT表也可以是按行存储的，但是按列存储必须是AOT表。这样，我们在设计应用上可以获得相当的灵活性。比如经常需要更新的数据，或者较小的维度数据，应该使用普通堆积表存储。 　　例子： cr...
GreenPlum学习笔记：新手入门命令
weixin_30702887的博客
08-07 237
1.命令行登录数据库 　　psql -h 192.168.111.111 -U username -d dbname 　　其中，username为数据库用户名，dbname为数据库名，执行后提示输入密码。（可能适用PostgreSQL，不适用GP） 2.切换数据库 　　\c dbname2 username IP port　　后面的参数都是可选的 　　mysql：use dbname2 ...
GreenPlum的学习心得和知识总结（一）|GreenPlum数据库源码编译安装及学习资料汇总
孤傲小二~阿沐的博客
05-23 4844
目录结构 注：提前言明 本文借鉴了以下博主、书籍或网站的内容，其列表如下： 1、GreenPlum中文官网首页，点击前往 2、GreenPlum git仓库，点击前往 或 本人GreenPlum gitee仓库，点击前往 3、PostgreSQL数据库仓库链接，点击前往 4、YouTube greenplum视频主页，点击前往 5、Bilibili greenplum视频主页，点击前往 1、本文内容全部来源于开源社区 GitHub和以上博主的贡献，本文也免费开源（可能会存在问题，评论区等待大佬们的指.
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值