![](https://img-blog.csdnimg.cn/c1d97216425c468597228138947ee182.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
Greenplum
文章平均质量分 70
Greenplum日常安装、使用、运维监控相关内容
阿福Chris
Greenplum中文社区资深技术专家!多年深耕分布式数据库领域!拥有Greenplum、TiDB、GBase8a、OceanBase等分布式数据库官方认证证书!
展开
-
Greenplum测试框架最全解析
了解更多Greenplum相关内容,欢迎访问Greenplum中文社区网站软件测试是开发过程中十分重要的一环,在数据库领域更是如此。一款稳定、可靠的数据库离不开大量的测试作为支撑。Greenplum 作为一款基于 Postgres 的开源数据库,在测试方面做出了大量的探索。除继承了 Postgres 原有的 regress 测试外,增加了 Fault Injector 框架。允许开发者在回归测试中,通过执行简单的 SQL 函数,对数据库注入真实场景中可能出现各种的故障。此外, Greenplum.转载 2022-01-17 22:20:17 · 399 阅读 · 0 评论 -
gpdb-5.28.1源码编译安装
简单记录一下源码编译时遇到的问...原创 2020-09-08 10:06:00 · 922 阅读 · 0 评论 -
Greenplum源码编译安装ORCA握手失败解决 - Caused by SSLError(SSLError(“bad handshake: ...)
场景: Greenplum...原创 2018-05-03 06:30:00 · 153 阅读 · 0 评论 -
Greenplum源码编译安装ORCA握手失败解决 - Caused by SSLError(SSLError(";bad handshake: ...)
场景:Greenplum在Mac上源码编译安装的时候,首先需要安装ORCA,安装ORCA的过程中,报错了。报错内容:ChrisdeMacBook-Pro:depends chris$ makeCONAN_USER_HOME=/Users/chris/git/gpdb/depends conan install --build=missing conanfile_orca.txtorca/v2.56...原创 2018-05-03 06:26:18 · 1717 阅读 · 0 评论 -
CentOS8源码安装GPDB6问题汇总
当前Greenplum只支持在CentOS6/7上安装,所以如果要在CentOS8上安装还需要解决一些依赖问题,本文就带大家从一个最简单的CentOS8开始,用源码尝试编译并安装GPDB6。本文不涉及GPORCA部分。源码下载我们假设,当前您已经有一个已经安装好的CentOS8主机环境,并且已经配置好网络访问。首先从GitHub上拿到GPDB 6.x的最新源码发布包,如下:下载命令类似如下:wget https://github.com/greenplum-db/gpdb/re原创 2022-01-20 09:22:23 · 2326 阅读 · 0 评论 -
Greenplum保证数据隔离的“秘密武器”:快照
数据库系统需要保证ACID特性,其中的I特指隔离性(Isolation),而多版本控制协议(MVCC)和快照(Snapshot)是实现隔离性的重要手段。 多版本控制协议相关内容在之前的相关文章中已经进行了介绍,本文中将会对Greenplum中快照相关的知识进行简要介绍,欢迎大家留言交流。本文中涉及到的代码版本是Greenplum 6X的稳定分支(greenplum-db/gpdb at 6X_STABLE (github.com)),其他分支上(如master,5X等)的代码逻辑会有所差异,请读者留意。转载 2022-01-19 22:01:32 · 230 阅读 · 0 评论 -
Greenplum 6源码编译问题汇总
GPOSS6源码编译时遇到的一...原创 2020-09-11 14:48:00 · 247 阅读 · 0 评论 -
有关Greenplum源码编译过程中遇到的gpcloud错误问题
在执行Greenplum源码编译过程中,经常会遇到如下错误:checking whether to build with OpenSSL support... nochecking whether to build with SELinux support... noconfigure: error: libxml is required by gpcloud这个错误的提示很明显,就是要编译gpcloud组件,是需要libxml的支持的,网上很多帖子分享的时候,并没有指出这个问题怎么解决,很原创 2022-01-21 15:53:31 · 579 阅读 · 0 评论 -
关于服务器时区修改我们需要做哪些操作
前一阵在客户现场遇到一个操作系统时区采用默认 UTC 时区的问题,正常来说安装完服务器我们首先要确保当前时区在东八区 PRC、CST 或 Asia/Shanghai,但是如果已经运行了一段时间系统,再修改可能就比较麻烦了。项目上用的比较多的是 pgsql 和 greenplum 两款数据库,技术栈中有 datax 数据同步工具,springboot 应用,所以并不是你将操作系统的时区修改好,就可以正常使用了(除非不在乎时间问题)。下面简要概述一下需要修改的内容。原创 2023-02-20 16:17:32 · 1135 阅读 · 0 评论 -
Greenplum 7 Beta 悄悄发布了
Greenplum 7 Beta 版本悄悄发布了原创 2023-01-16 06:43:11 · 371 阅读 · 0 评论 -
Greenplum 数据库管理工具 Navicat 的坑
一天一个坑,这个 Navicat 真的那么好用吗,这么多人在用嘿嘿。今天社区小伙伴发信息问,在 Greenplum 中创建了一个分区表,结果再向里面新增分区时发现报错(alter table add partition 操作),如下:实际上通过客户端工具是可以看到主表和分区表的,如下:咱就是说,这界面风格看着,又是 Navicat 吧?我第一反应就是,工具的问题,因为昨天已经踩过 Mongo 的坑了。果不其然,小伙伴用 Greenplum 自带黑屏工具试了一下,可以正常创建,建议大家慎用 Navica原创 2023-01-11 12:16:44 · 240 阅读 · 0 评论 -
Greenplum 找不到对应的套接字文件 “/var/run/postgresql/.s.PGSQL.25432“ ERROR
出现这个问题,通常是因为环境变量导致的,有时候服务器上如果同时存在默认安装的 PostgreSQL 和我们自己安装的 PostgreSQL 也会出现这个问题。这时候大家可以关注一下 LD_LIBRARY_PATH 这个环境变量,正常如果指定了对应软件版本的 lib 路径就可以了。原创 2022-11-01 11:17:47 · 353 阅读 · 0 评论 -
Greenplum文件入库预处理 0x00 方法
今天做测试,遇到了之前听大家经常说的 0x00 不兼容问题。场景是这样的,我在 ClickHouse 里面搞了很多测试数据,采用 CK 的导出接口把数据导出成 CSV,然后用 GPDB 的 COPY 命令入库,就出现了 0x00 不兼容的问题,而且不仅有 0x00,还有 0x80-0x99。因为我是 COPY 入库文件,所以其实把文件处理一下就行了,把这些不兼容的符号替换掉。原创 2022-09-26 12:11:53 · 265 阅读 · 2 评论 -
重读GPDB 和 TiDB 论文引发的 HTAP 数据库再思考
对比来看,能说谁更好吗?我说不好,留给大家自行评判。我个人认为业务痛点不一样,产品选型就不一样,没有一款产品可以把 TP 和 AP 都做到极致,只能说大家更侧重于哪一方面。原创 2022-08-05 15:52:16 · 517 阅读 · 0 评论 -
Greenplum小问题一例 - interconnect error: could not set up udp listener socket
今天社区的小伙伴在腾讯云上遇到了一个奇怪的问题,下面记录一下这个问题的定位过程和问题原因。问题现象首先报错信息如下截图:psql: FATAL: interconnect error: could not set up udp listener socket此时整个集群的状态用gpstate去查看是正常的,但是psql就是登录不了。问题定位出现这个问题我第一反应是不是腾讯云的udp端口访问做了限制。然后我去就改了参数:gp_interconnect_type 从 udpifc 改为 tcp原创 2022-04-26 14:58:59 · 757 阅读 · 0 评论 -
Greenplum备份恢复工具gpbackup主题(下)- gprestore详细使用方法及总结
本文是gpbackup系列文章的最后一篇,主要介绍gprestore的使用方法及一些其他的功能。gprestore是专门用来做gpdb数据恢复的并行恢复工具,配合gpbackup使用,编译安装方式与gpbackup一样,无论是官方下载的软件包还是自行编译的软件包,均会有gprestore这个命令。下面我们仍然采用与中篇一样的套路来进行演示,首先把gprestore的详细命令给大家贴一下,然后通过实验的方式做几个具体场景的解释。在本文的最后,对整个工具进行一个总结,希望对大家日后使用有所帮助。1.gpr原创 2022-04-02 21:36:52 · 2201 阅读 · 3 评论 -
Greenplum备份恢复工具gpbackup主题(中)- 详细使用方法
上一篇文章我们对gpbackup进行了简单介绍,并进行了源码编译,今天这篇文章,来介绍一下gpbackup所有参数的详细使用方法。本篇文章会参考以下内容进行操作:GPDB6.20DDocs - 官方英文文档的gpbackup部分;gpbackup命令帮助信息注意:gpbackup和gprestore命令只需要放置到master节点的greenplum-db/bin目录下,gpbackup_helper命令需要放置到所有segment host节点的greenplum-db/bin目录下。1原创 2022-04-01 21:25:17 · 1437 阅读 · 0 评论 -
Greenplum gpssh-exkeys错误No ECDSA host key is known for xxx and you have requested strict checking.解决
今天在做GPDB机群机器互信的时候,执行 gpssh-exkeys -f allhosts 出现了一个报错信息:No ECDSA host key is known for xxx。我本地的集群机器操作系统为:CentOS Linux release 7.9.2009 (Core) 报错的具体日志如下:[ERROR]: Failed to ssh to gpt2. No ECDSA host key is known for gpt2 and you have requested stric...原创 2022-03-31 13:26:32 · 7200 阅读 · 0 评论 -
“在开源社区中成长”——第十二届中国开源黑客松参与者真实感受
2021第十二届中国开源黑客松于5月28日在北京正式举行。举行地在丁章胡同的金融客咖啡,是一座古色古香的四合院,据说张作霖、张学良都曾把这里作为大元帅府和少帅府,也是溥仪办公和养老之地。在个充满了故事的四合院里,我与Greenplum开源社区的小伙伴一起,在其他13个开源项目,超过15个开源社区的陪伴下,经历了两天的高强度的代码。这是我第一次参加可以自己上手的活动,感谢Greenplum中文社区给我提供的机会,不得不说收获很多。从接触Greenplum以及其他开源软件后,我开始对开源软件的源代码转载 2022-03-05 21:59:47 · 258 阅读 · 0 评论 -
【实战经验】Greenplum集群Master與Segment节点故障检测与恢复
Greenplum集群主要包括Master节点和Segment节点,Master节点称之为主节点,Segment节点称之为数据节点。Master节点与Segment节点都是可以有备份的,其中Master节点的备节点为Standby Master(不能够自动故障转移),Segment是通过Primary Segment与Mirror Segment进行容错的。通过本文你可以了解:Greenplum数据库的高可用(HA)原理 Greenplum生产集群中master节点故障恢复 Greenplum生产集转载 2022-03-05 21:55:45 · 1949 阅读 · 0 评论 -
PGconf.Asia 2021 主题分享:PostgreSQL 空闲空间管理
在2021年12月14-17日举行的PostgresConf.CN&PGConf.Asia 2021大会上,来自Greenplum原厂的VMware研发工程师王晓冉发表了《PostgreSQL 空闲空间管理》主题演讲。在演讲中,王晓冉结合PostgreSQL存储引擎,分析了FSM的实现机制,并结合源代码,分析了FSM代码中主要数据结构,存储、并发及recovery的实现。在大会上,王晓冉将整个演讲内容分为了四个部分进行讲解,分别是:背景 功能 实现机制 源代码分析FSM出现的背景.转载 2022-03-05 21:41:08 · 218 阅读 · 0 评论 -
PGconf.Aisa 2021 主题分享:Greenplum 数据的迁移与同步
2021年12月14日-17日,PostgresConf.CN & PGconf.Aisa 2021大会通过云端盛大召开。在大会上,来自Greenplum中文社区的技术专家阿福分享了《Greenplum数据迁移与同步》主题演讲。本次《Greenplum数据迁移与同步》的主要演讲内容包含了四个部分,阿福从工程的角度出发,阐述了在真实情况下将其他类型数据库迁移到Greenplum的过程,并在中间穿插了一些技术逻辑和建议。Greenplum基础架构梳理 数据迁移与同步逻辑 如何从Orac..转载 2022-03-05 21:38:03 · 185 阅读 · 0 评论 -
不容错过 Greenplum的又一本好书
Greenplum数据库是基于MPP架构的开源大数据平台,具有良好的弹性和线性扩展能力,内置并行存储、并行通信、并行计算和并行优化功能,兼容SQL标准,具有强大、高效的PB级数据存储、处理和实时分析能力,同时支持涵盖OLTP型业务的混合负载,可部署于企业裸机、容器、私有云和公有云中,已为全球金融、电信、制造等行业核心生产系统提供支撑。随着大数据技术越来越成熟,各行业领头企业已基本完成大数据技术平台的搭建。随着“十四五”期间强调数据治理和数据要素潜能释放,以及近些年来养成的“互联网+”思维,越来越多的企业转载 2022-03-05 21:35:45 · 265 阅读 · 0 评论 -
Greenplum完全兼容欧拉开源操作系统
近日,Greenplum 社区和欧拉开源社区深化合作,在欧拉开源操作系统(openEuler,简称“欧拉”)编译测试了高级分析数据平台 Greenplum,用实践证明了 Greenplum 与支持多样性计算的欧拉开源操作系统完全兼容,是 Greenplum 深入合作的典型模板,大大丰富了产品应用生态。基于本次合作内容,Greenplum开源社区与欧拉开源社区联合发布白皮书《开源Greenplum新篇章:兼容欧拉开源操作系统的数据平台,支持国产生态的高级分析数据平台》。Greenplum 自 2006转载 2022-03-04 21:13:04 · 309 阅读 · 1 评论 -
基于GitHub用户数据使用Greenplum中MADlib进行PageRank算法运算
GitHub是著名的代码共享平台,来自全球的开发者在GitHub成千上万的项目中协作开发,贡献代码。Github中有哪些明星项目,谁又是明星开发者?能不能基于我所关注的项目,推荐更多我感兴趣的项目?为了回答以上问题,我们基于GitHubArchive网站所提供的自2015年至今的用户操作数据(events),通过MADlib PageRank算法分析和寻找这些权威的项目和开发者。 用户操作数据包含eventID、类型、开发者(people)和项目(repo)以及网址等具体信息。Event代表一个开发者.原创 2022-01-28 21:33:00 · 177 阅读 · 0 评论 -
深度揭示Greenplum数据库透明加密
今天为大家介绍的是基于下一代Greenplum数据库的数据安全组件的一个重要组成部分——数据透明加密。数据加密已经成为保证数据库安全必不可少的一项要求。传统Greenplum使用外部的UDF在实现数据加密,在易用性和性能方面都有所欠缺。为了满足客户对于数据加密的易用性和性能方面的要求,Greenplum实现了基于扩展组件模式(内核原生)的透明数据加密。该功能可实现原生用户数据自动加解密,无需修改查询语句且性能损失小。Greenplum的数据安全运行模式主要分为三个层次:用户层这一层中,包含了主要普转载 2022-01-27 22:21:21 · 221 阅读 · 0 评论 -
Greenplum助医疗大数据从“奢侈品”走向常态化
增加医疗大数据平台的便捷功能服务,推动医疗大数据的常态化应用。近年来,大数据产业发展如火如荼。不过,在医疗领域,医疗大数据平台在不少医院心目中还是曲高和寡的“奢侈品”。2019年5月,中国医院协会信息专业委员会(CHIMA)发布了《医疗机构医疗大数据平台建设指南》(征求意见稿)(以下简称《建设指南》),为医疗机构大数据平台建设与应用提供规范与指导意见。《建设指南》的编写初衷之一,是希望实现医疗大数据平台建设与应用的“二八原则”,也即帮助医疗机构利用较小的精力,掌握最为核心的技术,解决在医疗大数据..转载 2022-01-26 20:14:40 · 98 阅读 · 0 评论 -
Greenplum助力AI科学计算
对数据库行业了解的小伙伴都知道,Greenplum是一款有着丰富特性和扩展的数据库产品。但实际上,Greenplum 早已不再是一个单纯的”数据库”,我们的目标是将其打造成一个强大的大数据平台,满足用户的全方位的分析需求。Greenplum是一款可以大规模横向扩展(MPP架构)的并行数据库,以PostgreSQL为内核,运行标准的SQL语句,能够很好的支持ACID特性。Greenplum提供了更丰富的特性,种类繁多的扩展使其满足各行各业的库内数据分析需求和复杂任务。此外,Greenplum可以灵活.转载 2022-01-25 22:41:49 · 397 阅读 · 0 评论 -
新一代数据分析及实时数仓平台Greenplum,助力企业数字化转型
随着企业的发展,分析也在变化,从单纯面向过去,逐步演进到全视角数据分析。数据逐步成为企业核心资产,数据的衍生价值也越来越大,企业都在努力从流程驱动型企业转型成为数据驱动型企业。在分析1.0阶段,随着信息化建设的深入,企业积累了大量业务数据,用户洗完更了解一段周期内的企业经营情况。因此这一阶段企业以看到过去的描述型分析为主。整合业务数据、累计历史、通过报表、查询等形式,对业务历史数据进行统计分析。这一阶段,需要解答的业务问题是业务以及发生了什么? 业务为什么会发生在分析2.0阶段,企业不仅仅要对已转载 2022-01-24 19:52:29 · 209 阅读 · 0 评论 -
Semi-Join在Greenplum中的三种实现方式
Semi-join(半连接)是用来处理外表的记录是否在内表中存在与其匹配的行,而无需考虑匹配行的条数,半连接的返回结果集仅使用外表数据集,使用场景如:in、exists、>|<|= any等操作。本文将为大家详细介绍Semi-join在Greenplum中的三种实现方式。Semi-join 是 Greenplum 的一种内部算子,用户无法直接在 sql 语句中使用, semi-join 算子可以用在 nestloop 、 hashjoin 以及 mergejoin 中。与普通 join 算子转载 2022-01-23 22:03:46 · 378 阅读 · 0 评论 -
超融合数据库Greenplum性能、新特性和用例
在《Greenplum走进深圳》大会上,Greenplum产品经理吴疆为大家做了《超融合数据库Greenplum性能、新特性和用例》的主题演讲。在演讲中,吴疆从Greenplum发展历史入手,详细介绍了Greenplum产品规划、 以及使用Greenplum搭建数据平台的成功案例,并概述了Greenplum在国内社区建设上所做出的努力。众所周知,一款数据库产品通常需要10年以上的持续不断的研发投入和客户反馈,才能走向成熟、稳定。 Greenplum于2003年由Scott Yara和Luke Loner转载 2022-01-21 20:14:24 · 261 阅读 · 0 评论 -
Greenplum 商业版与开源版的区别在哪里?
众所周知,作为一款成熟、稳定的大数据平台,Greenplum已于2015年正式开源。社区里,经常有人会问,既然有开源版Greenplum,为什么要买商业版呢?也有人问,商业版和开源版有哪些区别?今天这篇文章将为大家详细解读。Greenplum开源版与商业版的核心数据库本身是没有任何区别的,其自带的功能都已开源。 但商业版能更好的帮助用户把Greenplum用好,发挥其价值,众多商业版组件功能的加持将让这款产品如虎添翼。 下图中详细展现了Greenplum商业版与开源版的区别。此外,用户在使用Gr转载 2022-01-16 23:49:44 · 662 阅读 · 0 评论 -
VMware Tanzu Greenplum发布有关log4j漏洞的官方安全提醒
北京时间2022年1月13日早上,VMware Tanzu Greenplum发布安全提醒邮件,提醒大家在Platform Extension Framework (PXF) 和 Greenplum Text (GPText)组件中可能存在之前披露的Log4J安全风险。受影响的VMware Tanzu™ Greenplum®软件列表如下:5.28.1-5.28.14 5.29.0-5.29.2 6.0.0-6.0.1 6.1.0-6.1.1 6.2.0-6.2.1 6.3.0 6.4.0原创 2022-01-13 22:55:07 · 2788 阅读 · 0 评论 -
Greenplum启动失败的问题定位思路及解决办法
Greenplum是一个比较健壮的数据库产品,所以常规使用过程中,鲜有问题出现。通常集群出现问题都是外部环境导致的,比如磁盘空间满了导致集群hang住,或者 文件系统损坏导致文件丢失等。今天社区的小伙伴在使用官方版本gpcc后,发现data目录特别大,然后强行卸载gpcc,最终由于一些未知的原因而导致集群重启失败了。这里说一下帮他定位问题的思路:1.清理集群环境首先上来要清理集群所有机器上的/tmp/.s.PG.xxx相关的socket文件,清理所有机器上的残留进程ps -ef | grep原创 2022-01-13 15:00:53 · 2190 阅读 · 0 评论 -
聊聊Greenplum的那些事
开卷有益——作者的话有时候真的感叹人生岁月匆匆,特别是当一个IT人沉浸于某个技术领域十来年后,蓦然回首,总有说不出的万千感慨。笔者有幸从04年就开始从事大规模数据计算的相关工作,08年作为Greenplum 早期员工加入Greenplum团队(当时的工牌是“005”,哈哈),记得当时看了一眼Greenplum的架构(嗯,就是现在大家耳熟能详的那个好多个X86框框的图),就义无反顾地加入了,转眼之间,已经到了第8个年头。在诸多项目中我亲历了Greenplum在国内的生根发芽到高速发展,再到现在..转载 2022-01-06 23:47:24 · 444 阅读 · 2 评论 -
Greenplum 6.x某些版本中存在COPY语句导致Segment挂掉的BUG
今天给大家分享一个Greenplum 6.x某些版本的bug吧,这个事情的起因是有朋友问过来说有个GPCC的dat数据文件特别特别的大,问怎么处理。朋友发过来的文件信息如下:-rw-r--r-- 1 gpadmin gpadmin 1210206598517 Jan 4 21:38 gpcc_queryinfo_2022-01-04_181758.dat-rw-r--r-- 1 gpadmin gpadmin 298794041344 Jan 5 05:00 gpcc_queryinf原创 2022-01-05 22:45:13 · 861 阅读 · 8 评论 -
Greenplum学习资料汇总【持续更新】
谈起Greenplum学习,大家可能一时抓不住头绪,为了方便大家日常学习,加强自己的Greenplum知识体系,特意开一个帖子汇总Greenplum社区提供的视频、资料、文档等,方便大家形成一个完整的学习知识树。本文涉及的所有内容,均可以从Greenplum社区中获得,当然如果您觉得访问 greenplum.org 时速度较慢,也可以持续关注我的帖子,我会定期为大家更新。另外,Greenplum底层基于优秀的开源数据库PostgreSQL,所以要想学好Greenplum,日常加强对PostgreSQL的原创 2022-01-03 22:16:23 · 1094 阅读 · 1 评论 -
Greenplum常用问题汇总【持续更新】
Greenplum是世界领先的MPP架构数据库,底层基于PostgreSQL,能处理大规模分析型查询。当前Greenplum在Pivotal被VMWare收购后,已经归属于VMWare Tanzu产品线。当前社区在微信、钉钉、QQ等都有相关的群,有很多新入门的小伙伴会问到各种各样基础的问题。为了帮助Greenplum中文社区的小伙伴更好的使用Greenplum,我特意整理了社区和论坛中经常问到的一些问题供大家参考。本文内容将持续更新,敬请收藏关注!------------------------20原创 2022-01-02 23:56:00 · 893 阅读 · 0 评论 -
Greenplum分区表操作汇总
1.Greenplum分区表简介在数据库中,分区表,有时候我们也叫分库分表,底层的逻辑基本都是一样的,就是将一个大表在物理上分布在不同数据库上,数据也拆分开,方便查询时进行分区裁剪以减少查询数据量。GPDB中的分区表功能在开发时,参考了Oracle的分区表语法,在GPDB中,可以直接向父表插入数据,也可以直接向子表插入数据,当直接向父表插入数据时,GPDB会自动检测并将数据定位到子表中。2.如何创建分区表GPDB中,支持两种分区表,范围分区(range)和列表分区(list),下面展开介绍一..原创 2022-01-01 23:59:37 · 4344 阅读 · 0 评论 -
Greenplum备份恢复工具gpbackup主题(上)- 简介与源码编译
1.写在前面最近社区的小伙伴一直在问gpbackup的问题,问了几个研发的朋友有些问题大家也都不是很清楚,今天索性看了看源码,整理一个gpbackup的主题分享给大家,希望能够帮到大家。gpbackup的分享主题计划分成3部分:gpbackup简介与源码编译 gpbackup详细使用方法 gprestore详细使用方法及总结那么这篇文章,我们首先来介绍一下gpbackup,然后从github上拉取源码进行编译。2.gpbackup简介Greenplum是MPP架构的分析型数据库,其原创 2021-12-25 21:06:13 · 793 阅读 · 2 评论