GreenPlum简介 快速入门

最新推荐文章于 2022-02-10 10:03:54 发布
最新推荐文章于 2022-02-10 10:03:54 发布
阅读量704 收藏 2
点赞数
分类专栏： MMP
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/oZuoLuo123/article/details/88370307
版权
GreenPlum是一个底层是多台PostgreSQL分表分库的分布式数据库，它有如下特点支持标准SQL，几乎所有PostgreSQL支持的SQL，greenplum都支持 支持ACID、分布式事务 支持上百台集群(这一点有点不好，hadoop可以万台)系统架构Master Host处理用户请求，生成执行计划，以及在执行计划执行必要的聚合操作(avg)或者排序 内部有一个P...
摘要由CSDN通过智能技术生成

GreenPlum是一个底层是多台PostgreSQL分表分库的分布式数据库，它有如下特点

  • 支持标准SQL，几乎所有PostgreSQL支持的SQL，greenplum都支持
  • 支持ACID、分布式事务
  • 支持上百台集群(这一点有点不好，hadoop可以万台)

系统架构

image

Master Host

  • 处理用户请求，生成执行计划，以及在执行计划执行必要的聚合操作(avg)或者排序
  • 内部有一个PostgreSQL数据库，保存所有的元数据，索引信息
  • 监控所有segment的状态信息

Segment host

  • 每台Segment host有多个segment，一般segment等于core数
  • segment是一个PostgreSQL数据库，负责存储具体数据

内部网络

GreenPlum内部使用udp网络，但是Greenplum会对数据包进行校验，因此可靠性等同于TCP。使用TCP的时候，最多支持1000个segment

执行计划

当master接受到一条SQL语句，会将这条语句解析为执行计划DAG，将DAG中不需要进行数据交换的划分为slice，多表连接，aggerate，sort的时候，都会涉及到slice的重分布，

最低0.47元/天 解锁文章
飄落
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
GreenPlum入门学习手册
11-02
无共享、大规模并行处理（massively parallel processing (MPP)）的数据库软件产品GreenPlum；分布式数据仓库。
greenplum--gpfdist
weixin_37044203的博客
03-12 1088
文章目录命令格式实例 gpfdist是Greenplum中并行文件分发程序。使用它创建可读外部表时，来自gp的数据段都是并行的。 命令格式 gpfdist [-d <directory>] [-p <http_port>] [-l <log_file>] [-t <timeout>] [-S] [-w <time>] [-v | -V]...
GreenPlum 基础操作 入门教程
weixin_30498807的博客
08-09 1007
1.启动gp： gpstart 2.重启gp： gpstop -r 3.不重启数据库，reload配置文件： gpstop -u 4.停止gp： gpstop 该命令等待所有事务完成后才进行停止 5.快速停止gp： gpstop -M fast 转载于:https://www.cnblogs.co...
GreenPlum入门
yunqishequ1的博客
08-25 628
原文地址 本文旨在小白入门。 我开始研究GP的动机是因为它在MPP和数仓方面的名声，另外，GP也是集团技术栈的一员。 1 GPDB简介 Pivotal Greenplum Database is a MPP (massively parallel processing) database built on open source PostgreSQL.The
Greenplum入门——基础知识、安装、常用函数
热门推荐
在咖啡里溺水的鱼
10-08 1万+
本文为博主在学习Greenplum时阅读的《Greenplum企业应用实战》时的笔记，对书中章节的知识要点进行了归纳和梳理。有兴趣的同学可以找原书学习下。如果认为文中内容涉嫌侵权请及时联系博主删除文章。软件安装及数据库初始化Greenplum架构Master主机与Segment主机的职责Master 建立与客户端的会话连接和管理 SQL的解析并形成分布式的执行计划 将生成好的执行计划分发到每个Seg
小白快速入门greenplum
06-18
数据时代的到来，数据分析业务越来越吃香，分析型MPP数据库-greenplum由开源大佬-pivotal出品（java中出品spring、springboot、springcloud等产品公司），greenplum简单来说也是"系出名门"，作OLAP非常适合，效率...
基于Greenplum-Hadoop-分布式平台的大数据解决方案01-Greenplum架构(1)
09-23
- 视频教程"01 - Greenplum架构(1).mp4"：该视频可能详细讲解了Greenplum的基本架构和核心特性，适合初学者入门。 - PPT讲义"01.Greenplum架构(1).ppt"：通常包含更详细的图文解释，有助于深入理解Greenplum的架构...
02.Greenplum架构(2).rar
09-15
本教程提供的视频资料将详细讲解Greenplum的安装过程，包括系统配置、环境搭建、数据库初始化等步骤，帮助初学者快速入门。此外，还会有对Greenplum使用技巧和常见问题的解答，以便用户更好地理解和应用Greenplum。 ...
debian-release：Greenplum数据库的Debian发行版
03-03
使用Docker快速入门它只会从最新的5X_STABLE分支中构建一个.deb。 docker build -t debian-build:5X_STABLE . .deb软件包将存储在映像内的/tmp目录下。 如果您想将Debian软件包发布到PPA，请启动容器并按照一节中的...
数据库GreenPlum-集群环境配置与搭建.docx
10-03
GreenPlum的手册详尽且适合作为入门教程，其软件本身也提供了免费的软性LICENSE用于学习研究。 **6. 高可用性详细流程** - 当Segment故障时，Mirror接管并进入Change Tracking模式。 - Segment重启后，系统进入...
mpp分布式数据库-Greenplum 数据库基础培训
05-09
海量并行处理 (Massively Parallel Processing) DBMS、外部表(external tables)/并行加载(parallel loading) 资源管理 查询优化器增强(query optimizer enhancements)
Greenplum详细使用手册（新手必备）
11-09
Greenplum详细使用手册（新手必备手册），安装，卸载，初始化及集群维护监控管理。全网最全手册。
greenplum 简介及数据库对比
08-21
greenplum 简介及数据库对比 。 greenplum hive infobright 对比。
Greenplum企业应用实战
allensandy的博客
12-22 392
第一章 greenplum简介 第二章 greenplum 快速入门 第三章 Greenplum 实战 第四章 数据字典详解 第五章 执行计划详解 第六章 Greenplum 高级应用 第七章 Greenplum 架构介绍 第八章 Greenplum 线上环境部署 第九章 数据库管理 ...
转：Greenplum: 基于PostgreSQL的分布式数据库内核揭秘(上篇)
weixin_30432179的博客
09-26 131
http://www.postgres.cn/v2/news/viewone/1/453 转载于:https://www.cnblogs.com/datacat/p/11592621.html
Greenplum数据库故障分析——UDP Packet Lost（packet reassembles failed）二
肥叔菌的博客
07-11 625
关键字：心跳网络、oracle rac 、网络异常宕机、packet reassembles failed 、UDP error 前几日和好友赵彬同学交流在ANBOB公众号投稿分享了一个案例，数据库第二个节点被驱逐出集群，并且多次自动重启以失败告终，驱逐原因在GI Alert log显示是私网通信丢失，而重启失败也是因为ASM无法启动，ASM db alert显示IPC Send timeout. 当时ping和tracert并没发现什么异常，从OSW中的netstat -s查看IP packet rea
Greenplum UDP连接问题排查与解决
weixin_42788640的博客
09-13 3114
近日遇到Greenplum数据库执行部份SQL会卡住，最终报向某个节点发包失败的错误，此处记录一下排查过程和解决方法。 1. 故障现象 数据库状态正常，使用gpstate命令查看状态没有任何异常，可以正常进入数据库并查询任意表的数据，但是业务端反馈查询时一直卡住，没有数据。数据库错误如下： 2. SQL分析 获取实际执行的SQL后进行分解 ，最终定位到在在执行group by操作时会执行失败，取消group by则可以执行成功。对这两个SQL进行explain，分析查询计划，发现二者最大的区别在于加入了g
Greenplum学习
angeling2009的专栏
02-10 376
执行计划 关联键 执行sql操作时，需要进行数据关联的键值，比如group by，join 分布键 根据一个键值，将数据分布在不同的segment上 广播和重分布 数据的初次分布是通过分布键将数据分布在不同的segment上，但是当某个表的关联键与分布键不是同一个键时，需要通过重分布或者广播来实现数据关联 前提：a表关联键是分布键，b表关联键不是分布键，进行a、b表关联（此处两表关联不是重点，关联键是做数据关联，并不是表关联） 类别 操作 操作的数据量和选择 重分布 通

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值