Greenplum
关注
分享
扫一扫
学习和实践Greenplum
Murkey学习之旅
拥有15年IT工作经验，主要从事数据库相关工作，具有Oracle OCM认证，Mysql OCP，ORACLE EBS认证；同时具有Solaris，IBM系统管理员认证，精通oracle数据库安装设计、维护管理、故障处理、备份/恢复、灾备方案、性能优化、软件咨询、迁移、patch升级、RAC部署和维护以及客户培训等；现阶段主要研究分布式数据库、国产数据库与云原生数据库。
展开
-
Greenplum索引管理
Greenplum 索引文章目录Greenplum 索引1 概述1.1 索引不是万能的，无副作用的1.2 主键自动创建索引，分布表索引见到主表2 索引的命名规范3 索引使用规范3.1 索引需要考虑的因素4 Greenplum 支持的索引类型5 Greenplum索引分类及适用场景6 索引测试6.1 bitmap索引6.3 B-tree索引6.3 表达式索引7 检查索引使用PostgreSQL 目前支持8种索引接口，包括B-Tree, hash, gin, gist, sp-gist, brin, ru原创 2020-05-11 10:48:44 · 1051 阅读 · 0 评论 -
Greenplum大表分区
Greenplum大表分区表分区让我们能通过把表划分成较小的、更容易管理的小块来支持非常大的表，例如事实表。 通过让Greenplum数据库查询优化器只扫描满足给定查询所需的数据而避免扫描大表的全部内容，分区表能够提升查询性能。文章目录Greenplum大表分区1 关于表分区2 分区与分布的区别3 与PostgreSQL分区表的区别：4 Greenplum数据库中的表分区5 决定表的分区策略6 创建分区表6.1 定义日期范围分区表6.1.1 实验环境测试6.2 定义数字范围分区表6.3 定原创 2020-05-09 16:38:31 · 735 阅读 · 0 评论 -
Greenplum表存储模型
Greenplum表存储模型文章目录Greenplum表存储模型1 背景2 堆表和AO表2.1 堆表和AO表的原理2.1.1 堆表2.1.2 AO表2.2 什么时候选择堆表2.3 什么时候选择AO表2.4 创建一个堆表2.5 创建一个AO表3 行存和列存3.1 行存和列存的原理3.1.2 行存3.1.3 列存储3.2 什么时候选择行存3.3 什么时候选择列存3.4 创建一个列存储表4 压缩（只适用于追加优化表）和非压缩4.1 压缩的方式4.2 压缩的算法4.3 压缩因素4.4 创建一个压缩表(表级别)4.原创 2020-05-08 17:44:15 · 898 阅读 · 0 评论 -
Greenplum表的管理实践-2 表分布策略
5 Greenplum表的管理实践-2 表分布策略文章目录5 Greenplum表的管理实践-2 表分布策略5.1 表分布策略控制表的分布策略。选择法则：声明分布键自定义分布键哈希函数自定义哈希操作符类用例测试hash分布1 创建hash分布表2 生成数据3 检查数据分布情况测试随机random分布1 创建表2 生成数据3 检查数据分布情况改变表的分布策略本文主要从表的分布策略，Greenp...原创 2020-05-08 15:07:23 · 872 阅读 · 0 评论 -
Greenplum架构最详解读
Greenplum架构最详解读视频地址：https://www.ixigua.com/i6818046560299909645/ 大概 1小时文章目录Greenplum架构最详解读*引言\*****数据库管理系统****Greenplum整体架构****存储管理****索引****查询执行****事务与日志**引言**4月17日，我们和阿里云合作，举行了《Greenplum内核揭秘》系列...原创 2020-05-08 11:28:37 · 961 阅读 · 0 评论 -
Greenplum表的管理实践-1
Greenplum表的管理实践-1本文章主要介绍和实践如何创建、修改、删除表，包括临时表的管理，同时针对表的约束，包括非空，唯一，主外键，默认等，另外还会简单进行数据的插入和修改，删除的实验操作。文章目录Greenplum表的管理实践-11 创建表2 创建临时表2.1 会话级临时表2.2 创建会话级别的临时表3 约束3.1 字段级别的check3.2 表级的check3.3 非空约束3...原创 2020-05-05 17:45:19 · 802 阅读 · 0 评论 -
Greenplum 数据库和schema管理
Greenplum 数据库和schema管理文章目录Greenplum 数据库和schema管理关于模板和默认数据创建一个数据库克隆一个数据库创建一个不同Owner的数据库查看数据库的列表修改一个数据库删除一个数据库Scheme管理一个Greenplum数据库是Greenplum数据库的一个单一实例。 可能会安装有多个单独的Greenplum数据库系统，但是通常只会用环境变量设置...原创 2020-05-04 22:47:49 · 4443 阅读 · 0 评论 -
Greenplum表空间管理
本文介绍如何创建表空间，如何在表空间上创建数据库，如何查询表空间和database；目录1 表空间的概述2 创建filespace2.1 检查当前的配置情况2.2 合理利用高速盘的方案2.3 创建文件系统目录2.4 创建配置文件2.5 按照相关命令进行创建文件目录3 创建表空间4 相关查询5 临时文件和事务文件的迁移1 表空间的概述表空...原创 2020-05-04 17:02:13 · 804 阅读 · 1 评论 -
Greenplum用户管理和权限管理
Greenplum用户管理和权限管理本文介绍如何创建用户，查看用户，授权权限和pg_hba.conf配合修改以及删除用户一些用户相关的测试。目录Greenplum用户管理和权限管理1 role和权限1.1 角色和权限的安全最佳实践1.2角色的属性1.3 角色的继承性1.4 对象权限1.5 用户和角色区别2 相关测试2.1 创建一个登录角色2.2 ...原创 2020-05-03 22:54:08 · 6640 阅读 · 0 评论 -
Greenplum的日志管理
Greenplum的日志管理本篇文档首先介绍GP的日志架构，日志工具的使用说明，然后介绍一下日志的定期清理配置案例目录Greenplum的日志管理日志架构日志路径日志说明日志常用的参数和配置方案日志过滤工作的使用检查segment日志gplogfilter+gpssh工具组合在所有segment节点进行查找查看时间段的筛选g...原创 2020-05-03 17:59:02 · 7804 阅读 · 0 评论 -
10. Greenplum高可用架构
10. Greenplum高可用架构与数据持久化论述Greenplum数据库系统的高可用可以通过提供容错硬件平台实现，可以通过启用Greenplum数据库高可用特性实现，也可以通过执行定期监控和运维作业来确保整个系统所有组件保持健康来实现。硬件平台的最终故障，可能因为常见的持久运行故障或非预期的运行环境。异常断电会导致组件临时不可用。系统可以通过为可能故障的节点配置冗余备份节点来保...原创 2020-05-01 23:42:54 · 869 阅读 · 0 评论 -
Greenplum数据库配置管理-参数配置管理和常用参数优化建议
GPDB 的系统配置服务器配置文件包含着配置服务器行为的参数。Greenplum数据库的配置文件postgresql.conf 位于数据库实例的数据目录之下。Master和每一个Segment实例都有自己的postgresql.conf文件。 一些参数是本地的：每个Segment实例检查它的postgresql.conf文件来得到这类 参数的值。在Master和每一个Segment实例上...原创 2020-04-27 23:31:20 · 2363 阅读 · 0 评论 -
Greenplum学习计划--设计与进展
简介 架构 架构讲解 版本说明 新特性 数据分区和分区特性 数据仓库、数据湖、数据集市与数据中台 新特性 6.0的新特性 Postgresql 10的新特性 安装 实验环境 安装步骤和思路 安装配置的最佳实践 ...原创 2020-04-27 22:35:12 · 175 阅读 · 0 评论 -
Greenplum实战---Greenplum连接登录测试
# Greenplum连接登录测试> 本文章记录Greenplum数据库的登录测试，主要利用的psql客户端工具## 1、psql的帮助信息```bashpsql -help[gpadmin@mdw bin]$ psql --helpThis is psql 8.3.23, the PostgreSQL inter...原创 2020-04-27 21:46:05 · 2847 阅读 · 0 评论 -
pgBouncer管理和使用案例
[转]PostgreSQL数据库连接池Pgbouncer的搭建最近有些项目我们是采用PostgreSQL进行后端数据库，由于要对客户端的连接使用类型和连接数进行控制，因此我们采用PgBouncer来进行实施。PgBouncer相关的基本文档pgsqldb中文站已经有不少文档，这里我就不再作过多的说明，我将集中对其中的几个要点和我实践中遇到的问题和大家分享一下。OK，肺话也不多少，开始正...转载 2020-04-27 18:25:38 · 648 阅读 · 0 评论 -
Greenplum 连接管理
Greenplum 连接管理Greenplum 连接管理5 Greenplum 连接管理5.1 客户端应用5.2数据库应用接口5.3用psql连接5.4连接问题的发现及解决5.5PgBouncer连接池配置PgBouncerPgBouncer授权文件格式为PgBouncer配置基于HBA的授权启动PgBouncer管理PgBouncer5 Greenplum 连接管理5.1 客户...原创 2020-04-27 18:15:13 · 1617 阅读 · 0 评论 -
启动和停止Greenplum数据库和停止客户端进程操作
启动和停止Greenplum数据库和停止客户端进程操作在一个Greenplum数据库管理系统中，所有主机上的数据库实例（Master和所有的Segment）一起被启动或者停止，启停操作统一由Master实例发起，它们步调一致，在外界看来是一个完整的数据库管理系统。由于一个Greenplum数据库系统分布在很多机器上，启动和停止一个Greenplum数据库系统的过程与普通Postgre...原创 2020-04-27 17:53:38 · 2753 阅读 · 0 评论 -
数据仓库、数据湖、数据集市、和数据中台的故事
数据仓库、数据湖、数据集市、和数据中台的故事如今，随着诸如互联网以及物联网等技术的不断发展，越来越多的数据被生产出来-据统计，每天大约有超过2.5亿亿字节的各种各样数据产生。这些数据需要被存储起来并且能够被方便的分析和利用。随着大数据技术的不断更新和迭代，数据管理工具得到了飞速的发展，相关概念如雨后春笋一般应运而生，如从最初决策支持系统(DSS)到商业智能(BI)、数据仓库、数据湖、数据...原创 2020-04-24 11:05:33 · 9743 阅读 · 0 评论 -
6 Pivotal Greenplum 6.0 新特性介绍
Pivotal Greenplum 6.0 新特性介绍Pivotal Greenplum 6.0 新特性介绍1. PGSQL版本升级2. HTAP （OLAP + OLTP）性能大幅提升3. 支持复制表（Replicated Table）4. 在线扩容（Online expand)和一致性哈希（Jump Consistent Hash）5. 磁盘配额（Disk Quota）6. 支持Zstan...原创 2020-04-23 21:58:27 · 931 阅读 · 0 评论 -
4 Greenplum数据分布和分区策略
Greenplum数据分布和分区策略Greenplum数据分布和分区策略分布策略哈希分布：随机分布：复制分布：分区策略Greenplum是一个大规模并行处理数据库，它由一个master和多个segment组成，其数据按照设定的分布策略分布于各个segment上。数据表的单个行会被分配到一个或多个segment上，但是有这么多的segment，它到底会被分到哪个或哪些segment上呢？分布...原创 2020-04-23 21:54:58 · 567 阅读 · 1 评论 -
3、Greenplum版本说明，新版本路线图roadmap
3、Greenplum版本说明，新版本路线图roadmapGreenplum数据库的发布版本号采用格式x.y.z，含义分别为: x表明主版本号 y表明小版本号 z表明补丁版本号 具有相同主版本号的Greenplum数据库保证在该版本下具有向后兼容性。 当Greenplum数据库的 元数据目录修改或不适配的特性改变出现或新特性被引入时，才会增加主版本号。之前版...原创 2020-04-23 21:54:05 · 1109 阅读 · 0 评论 -
2 Greenplum目录结构、配置文件和环境变量
Greenplum目录结构、配置文件和环境变量Greenplum目录结构、配置文件和环境变量1 日志1.1 集群初始化日志位置1.2 Greenplum日志配置方案1.3 数据库log文件1.3.1 pg_log1.3.2 pg_xlog1.3.3 pg_clog1.4 数据库的启动和关闭日志2 文件目录file layout2.1 master主机上目录结构2.1.1 软件安装目录结构2.1...原创 2020-04-23 19:00:59 · 4997 阅读 · 0 评论 -
1 Greenplum架构学习讲解
Greenplum架构学习讲解Greenplum架构学习讲解1、什么是Greenplum2、Greenplum 体系架构2.1 Greenplum Master2.2 Greenplum Segment2.3 网络配置示例3 Greenplum 高可用性体系架构3.1 Master/Standby 镜像保护3.2 数据冗余-Segment 镜像保护3.3 网络冗余4 Greenplum 应用场...原创 2020-04-23 18:58:37 · 678 阅读 · 0 评论 -
趣谈Greenplum一些故事【转】
有时候真的感叹人生岁月匆匆，特别是当一个IT人沉浸于某个技术领域十来年后，蓦然回首，总有说不出的万千感慨。笔者有幸从04年就开始从事大规模数据计算的相关工作，08年作为Greenplum 早期员工加入Greenplum团队（当时的工牌是“005”，哈哈），记得当时看了一眼Greenplum的架构（嗯，就是现在大家耳熟能详的那个好多个X86框框的图），就义无反顾地加入了，转眼之间，已经到了...转载 2020-04-23 18:57:29 · 235 阅读 · 0 评论 -
Greenplum集群安装配置指导（原厂最佳实践）
Greenplum集群安装配置及最佳实践视频地址视频地址：https://www.bilibili.com/video/av82277973/总体原则1.1 硬件平衡 性能 成本 容量 1.2 高可用 节点 网络 磁盘 1.3 部署方案 Master与Standby Master分级部署 Pri...原创 2020-04-22 16:56:50 · 1308 阅读 · 0 评论 -
master节点故障切换到standby master上
下面模拟Master节点故障，切换到Standby的情况。直接关闭Master节点主机的电源，模拟Master节点故障。可以通过gpactivatestandby命令将Standby切换成Master，这个命令依赖几个环境变量，下面的测试会一一介绍。1. 需要设置master和standby的环境变量SDW[root@mdw ~]# su - gpadminLast ...原创 2020-04-21 00:46:55 · 1638 阅读 · 0 评论 -
Greenplum实战--standby master的模拟故障与修复
本文档主要演示GreenPlum数据库的Master节点的Standby在异常后的数据同步及Master节点故障后，Standby的切换。在操作前通过gpstate命令查看Standby的状态是正常的，数据也在同步状态。同时将现有master（原有的standy）和原有的master再做切换，恢复原状。1 检查集群gpstate -fgpadmin@mdw ~]$ gpsta...原创 2020-04-20 01:30:48 · 1961 阅读 · 0 评论 -
Greenplum实战--GreenPlum数据库Master节点搭建Standby【转】
GreenPlum数据库对于数据的冗余，也支持类似Oracle数据库物理DataGuard的数据冗余机制，Master的数据库镜像称为Standby，Segment节点的数据库镜像称之为Mirror，本文主要介绍如何为没有做Standby的Master节点添加Standby。需要注意，在为Master节点搭建Standby的过程中，GreenPlum会自动关闭数据库，并以utility模式打开...转载 2020-04-20 00:02:35 · 756 阅读 · 0 评论 -
Greenplum实战--添加standby master
GreenPlum数据库对于数据的冗余，也支持类似Oracle数据库物理DataGuard的数据冗余机制，Master的数据库镜像称为Standby，Segment节点的数据库镜像称之为Mirror，本文主要介绍如何为没有做Standby的Master节点添加Standby。需要注意，在为Master节点搭建Standby的过程中，GreenPlum会自动关闭数据库，并以utility模式打开...原创 2020-04-19 23:59:24 · 1316 阅读 · 0 评论 -
Greenplum实战--5.10集群安装完整版
1 章 环境说明 官方文档 Greenplum官方安装说明:https://gpdb.docs.pivotal.io/5160/install_guide/install_extensions.html 系统要求 Operating System • Red Hat Enterprise Linux 64-b...原创 2020-04-19 23:50:28 · 340 阅读 · 0 评论 -
Greenplum实战-gpstop gpstart集群命令
gpstart gpstart -a => 快速启动|gpstart -d => 指定数据目录（默认值：$MASTER_DATA_DIRECTORY）gpstart -q => 在安静模式下运行。命令输出不显示在屏幕，但仍然写入日志文件。gpstart -m => 以维护模式连接到Master进行目录维护。例如：$ PGOPTIONS='-c gp_se...原创 2020-04-19 23:48:14 · 4264 阅读 · 0 评论 -
Greenplum实战--检查集群状态gpstate
查看进程命令 $gpssh -f /home/gpadmin/gpconfig/all_host -e "ps -eaf|grep green" [ mdw] ps -eaf|grep green [ mdw] gpadmin 2601 1 0 01:04 ? 00:00:00 /usr/local/greenplum-db-5.10.2/bi...原创 2020-04-19 23:45:03 · 4016 阅读 · 0 评论 -
Greenplum学习实践-【安装部署】-2、 5.10集群部署
第一，清理目录source /usr/local/greenplum-db/greenplum_path.sh==================架构目标============================mdw sdw1 sdw2 sdw3master seg0pse...原创 2020-04-19 22:49:14 · 477 阅读 · 0 评论 -
2 添加standby master
---------增加master的mirror----------在smdw上root执行mkdir -p /greenplum/gpdata/masterchown gpadmin:gpadmin /greenplum/gpdata/master修改hosts文件10.102.254.24 sdw110.102....原创 2020-04-19 22:45:29 · 189 阅读 · 0 评论 -
Greenplum学习实践-【安装部署】-1、部署整体设计
设计的思维导图如下：规划阶段 规划IP地址 系统配置 主机配置 系统准备阶段 关闭防火墙 关闭selinux 设置主机名 配置/etc/hosts 内核参数优化 修改Linux最大限制 文件系统配置 ...原创 2020-04-19 22:44:06 · 206 阅读 · 0 评论