Greenplum数据分布和分区策略

最新推荐文章于 2024-05-08 00:07:33 发布
最新推荐文章于 2024-05-08 00:07:33 发布
阅读量3.5k 收藏 6
点赞数 2
分类专栏： Greenplum内核机制 文章标签： 数据库 大数据 postgresql
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/gp_community/article/details/104814046
版权

了解更多Greenplum技术干货，欢迎访问Greenplum中文社区网站

Greenplum是一个大规模并行处理数据库，它由一个master和多个segment组成，其数据按照设定的分布策略分布于各个segment上。数据表的单个行会被分配到一个或多个segment上，但是有这么多的segment，它到底会被分到哪个或哪些segment上呢？分布策略会告诉我们。

分布策略

在Greenplum 5中，有2种分布策略：

  • 哈希分布
  • 随机分布

在Greenplum 6中，添加了另一个策略：

  • 哈希分布
  • 随机分布
  • 复制分布

数据表的单个行会被分配到一个或多个segment上，但是有这么多的segment，它到底会被分到哪个或哪些segment上呢？分布策略会告诉我们。

哈希分布：

要使用这一策略，需要在创建表使用 “DISTRIBUTED BY（column，[

最低0.47元/天 解锁文章
Greenplum中文社区
关注
  • 2
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Greenplum元数据信息1
08-04
表的生命周期是指数据的活跃程度，这可能涉及分区策略。膨胀率则反映了数据重复和碎片的程度，通常通过`ANALYZE`操作来更新。倾斜率表示数据在各个段间的分布不均，这可能影响查询性能，可以使用`gp_segmentATION_...
Greenplum -- 最全分区表操作
yimenglin的博客
11-05 5951
一、Greenplum 分区原理 分区表意思是将一个大表在物理上分割成几块，GPDB中的分区表和PostgreSQL中实现原理一样，都是用过表继承、约束来实现。但是与PostgreSQL也有所不同，在PostgreSQL中，一个父表，多个子表来实现分区表，需要手动向子表插入数据，如果向父表插入数据，则直接会被...
Greenplum中数据分布策略
wangning0714的博客
06-02 4673
由于Greenplum为Shared Nothing架构，每个节点都有自己的CPU/内存/硬盘等，不存在共享资源，所以数据的分布显得尤为重要。
Greenplum【部署 02】GP 数据库 web 监控工具 Greenplum Command Center v6(1)
最新发布
2401_84240454的博客
05-08 681
本人从事网路安全工作12年，曾在2个大厂工作过，安全服务、售后服务、售前、攻防比赛、安全讲师、销售经理等职位都做过，对这个行业了解比较全面。最近遍览了各种网络安全类的文章，内容参差不齐，其中不伐有大佬倾力教学，也有各种不良机构浑水摸鱼，在收到几条私信，发现大家对一套完整的系统的网络安全从学习路线到学习资料，甚至是工具有着不小的需求。最后，我将这部分内容融会贯通成了一套282G的网络安全资料包，所有类目条理清晰，知识点层层递进，需要的小伙伴可以点击下方小卡片领取哦！
Greenplum数据分布和分区
MasterLeon的博客
05-06 2245
Greenplum数据分布和分区数据分布分区策略 数据分布 https://yq.aliyun.com/articles/57822 https://segmentfault.com/a/1190000022005788 http://www.dbdream.com.cn/2016/01/greenplum%E6%95%B0%E6%8D%AE%E5%BA%93%E5%88%9B%E5%BB%BA%...
Greenplum数据库执行器——PartitionSelector执行节点
肥叔菌的博客
04-11 495
为了能够对分区表有优异的处理能力，对于查询优化系统来说一个最基本的能力就是做分区裁剪partition pruning，将query中并不涉及的分区提前排除掉。如下执行计划所示，由于单表谓词在parititon key上，在优化期间即可确定哪些可以分区可以避免访问，即静态pruning。如下语句date_id的值将需要根据date_dim表的动态输出决定，因此对orders表的partition pruning只能在执行期完成，类似的例子还有动态绑定变量，称为动态pruning。
Greenplum分区表 Partition Tables
qq_31943653的博客
06-06 2017
GP支持分区表，主要用来存放大表，如fact table目的：1. 把大数据切片,便于查询2. 便于数据库维护分区创建时，每个分区会自带一个Check约束，来限定数据的范围。Check约束也用于执行查询时定位分区。 支持分区类型：1. 范围分区 range partition2. 列表分区 list partition3. 组合分区-------partition 和 distribution的区...
GreenPlum数据库介绍
12-26
GreenPlum数据库的核心特性包括其独特的数据分布策略、并行加载能力以及对MapReduce和SQL的支持。系统主要由Master节点、Segment节点和Interconnect组成： 1. **Master节点**：作为整个系统的控制中心，Master节点...
Greenplum数据库基础培训new.ppt
11-21
* 并行查询计划：根据分布策略和表结构生成查询计划。 Greenplum 的表分区概念包括： * 将一张大表逻辑性地分成多个部分，如按照分区条件进行查询，将减少数据的扫描范围，提高系统性能。 * 提高对于特定类型数据...
SQL Server向Greenplum_移植参考手册
09-18
2. **数据类型对比**：SQL Server和Greenplum的数据类型存在差异，如日期时间类型、数值类型等。手册会详细比较两者之间的差异，并提供转换策略。 3. **建表语句**：Greenplum支持的建表语句与SQL Server有所不同，...
Greenplum技术架构介绍.pptx
10-14
Greenplum 的数据分布策略是将数据均匀分布到各个数据节点，实现了数据的并行处理。这使得 Greenplum 可以处理大量数据，并且具有高性能和高效率。 Greenplum 的查询优化器可以生成并行查询计划，实现了高效的数据...
GREENPLUM的分布与分区
热门推荐
liuyiy的专栏
07-18 1万+
参考学习 刚开始看GREENPLUM文档的时候，有点搞不清楚对于一个分区表来说，分布（DISTRIBUTE）与分区（PARTITION）的关系究竟是怎样的。下面摘录文档里的一段原话 Partitioned tables are also distributed across Greenplum Database segments as is any non-partitioned
Greenplum 分布键 distribute hash分布和随机分布
是个好男人的博客
04-18 4172
Greenplum是分布式系统，创建表时需要指定分布键，目的是为了数据能够平均分布到各个段，所以选择分布键十分重要，选择错了会导致数据不一致。 分布方式： Hash分布：按分布键对数据列进行hash取模存放到对应的segment。 随机分布：数据随机分布在数据库，每次查询都会查询所有的segment。 1.分布策略 （1）hash分布 Greenplum默认使用hash分布策略。该策略可选一个或者多个列作为分布键（distribution key，简称DK）。分布键做...
关于GreenPlum的一些整理
lsr40的博客
07-19 6774
本人菜鸟一只，如果有什么说错的地方还请大家批评指出！！ 这篇文章用来整理下gp的一些东西，不是概念搭建七七八八的东西，就是单纯的一些sql和使用。 1、gp是分布式的数据库，跟hadoop有点类似，也是有master和slave的架构关系 摘抄作者的话：Greenplum所有的并行任务都是在Segment数据节点上完成后，Master只负责生成和优化查询计划、派发任务、协调数据节点进行并行计...
greenplum 数据分布策略分析
Deepexi_Date的博客
11-16 2435
greenplum 数据分布策略分析 greenplum 是一个 MPP 架构的数据库，由一个 master 和多个 segment 组成（还可选配置一个 standby master），其数据会根据设置的分布策略分布到在不同的 segment 上。 在 6 版本中，gp 提供了 3 个策略：随机分布、复制分布、hash 分布。 随机分布 在创建表的时候，使用 “DISTRIBUTED RANDOMLY” 子句。 该策略会使数据随机分布到各个 segment，即使是完全一样的两行数据，也可能会被分散至不同的
GreenPlum数据分布策略
hmxz2nn的博客
10-21 2948
两种分布方式 在Greenplum数据库中所有表都是分布式的，所以每一张表都会被切片，每个segment实例数据库会存放相应的数据片段。切片（分布）规则可以由用户定义，可选的方案有根据用户对每一张表指定的hash key进行的Hash分布或者选择随机分布。 Hash分布 当选择Hash分布策略时，可以指定表的一列或者多列组合。greenplum会根据指定的Hash key列计算每一行数据对应的Ha...
GP上的分区表
cuanqian4378的博客
01-20 1728
对于大数据量的表我们通常会对其按照一定规则进行分区存储，以便提高查询效率，下面简单对GP上分区表的创建、分区的增加和删除进行了整理。一、创建GP中表的分区都只能在创建表的时候定义，因此如果需要对表做分区一定要在create表的时...
Greenplum数据库的分布键
风尘子曰
07-26 3536
Greenplum是分布式系统，创建表时需要指定分布键（创建表需要CREATEDBA权限），目的在于将数据平均分布到各个segment。选择分布键非常重要，选择错了会导致数据不唯一，更严重的是会造成SQL性能急剧下降。 Greenplum有两种分布策略： 1、hash分布。 Greenplum默认使用hash分布策略。该策略可选一个或者多个列作为分布键（distribution key，简称DK）...
greenplum 重分布
06-10
在Greenplum中，重分布是指重新分配表中的数据到不同的分布键上，以实现更好的数据分布和查询性能。重分布可以通过以下两种方式进行： 1. 通过ALTER TABLE语句使用DISTRIBUTE BY子句来指定新的分布键，然后使用ALTER TABLE ...SET DISTRIBUTED BY语句来执行重分布。这将重新分配表中的数据到新的分布键上。 2. 通过CREATE TABLE AS SELECT（CTAS）语句来创建一个新的表，并在CREATE TABLE语句中指定新的分布键。然后，使用INSERT INTO语句将原始表的数据插入到新表中。这将重新分配表中的数据到新的分布键上。 需要注意的是，重分布操作会导致数据移动和重新分配，因此需要谨慎使用，并确保在执行操作之前备份数据。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值