Greenplum存储过程使用分区表将进行全表扫描

最新推荐文章于 2024-05-30 14:59:09 发布
最新推荐文章于 2024-05-30 14:59:09 发布
阅读量318 收藏
点赞数
文章标签： 数据库
环境：Greenplum Database 4.2.1.0 ， RHEL 5.4
 
 
问题： 之前用存储过程转换数据，其中一个表做分区，里面的逻辑先是删除日期参数的数据，然后用外部表导入再转换。最近由于装载了很多数据，发现后续增量加载超慢。 后来发现是“删除日期参数的数据”这个操作造成的，删除某一天数据执行的是全表扫描。但在psql命令中分区键能过滤。
 
解决方法： 在网上找到一篇跟我碰到情况类似的
大意是有两种方式避免，1. 涉及分区表使用动态sql   2. 升级至postgresql 9.2  ， 这两种方法显能对gp是不靠谱的，只能用动态sql了， 苦了我们这帮用存储过程做数据转换的开发者。

来自 “ ITPUB博客 ” ，链接：http://blog.itpub.net/16582684/viewspace-754862/，如需转载，请注明出处，否则将追究法律责任。

转载于:http://blog.itpub.net/16582684/viewspace-754862/

csdn666666666
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
GP–大表分区管理(一)
12-14
表分区使用背景： 表分区用以解决特别大的表的问题。比如事实表，解决办法就是将表分成很多小且更容易管理的部分。通过让GreenPlum数据库查询优化器只扫描满足给定查询所需的数据而避免扫描大表的全部内容，分区表能够提升查询性能。 表分布与表分区的区别： Greenplum中每个表都需要有一个分布键，如果你建表的时候没有显示使用语法DISTRIBUTED BY (column) 指定一个分布键，系统也会默认为你指定一个。分布目的是把数据打散到每个节点，打散的规则是hash或者randomly。这样在计算时可以充分利用每个节点的资源进行并行计算。 分布：DISTRIBUTED 分区：PARTITIO
greenplum的运维使用手册.docx
01-26
Greenplum的架构采用了MPP(大规模并行处理)。在 MPP 系统中，每个 SMP节点也可以运行自己的操作系统、数据库等。换言之，每个节点内的 CPU 不能访问另一个节点的内存。 节点之间的信息交互是通过节点互联网络实现的...
GreenPlum 函数的定义者权限实现动态sql
qq_33445829的博客
08-12 551
应用场景 很多时候，需要批量对每个模式下的对象进行处理，其中一个办法就是通过登录每个用户去操作对应的模式，这样工作量太大。可以写一个动态执行sql框架，在不切换用户的情况下，以目标用户的环境去执行sql操作，这就需要用到函数（存储过程）的定义者权限。 所谓函数的定义者权限，即以创建函数的用户环境去执行函数。在oracle中，存储过程默认是定义为定义者权限，但是在greenplum中，函数默认是定义为调用者权限（即以调用者的环境执行函数）； 动态执行sql 在每个用户对应的schema下面建立 sp_exec
greenplum使用总结之常用SQL及函数
CS_GUNNER的博客
01-28 3313
---------------------------------------------------建表等----------------------------------------------------- –创建序列 –eg:CREATE SEQUENCE users181020_ID_seq 2 START WITH 100 3 INCREMENT BY 1 4 NO MINVALUE 5 NO MAXVALUE 6 CACHE 1; 使用: select nextval(‘users18102
Greenplum分区表操作汇总
专注数据库、大数据领域干货分享，用严谨的数据技术广交天下朋友。
01-01 4232
1.Greenplum分区表简介 在数据库中，分区表，有时候我们也叫分库分表，底层的逻辑基本都是一样的，就是将一个大表在物理上分布在不同数据库上，数据也拆分开，方便查询时进行分区裁剪以减少查询数据量。GPDB中的分区表功能在开发时，参考了Oracle的分区表语法，在GPDB中，可以直接向父表插入数据，也可以直接向子表插入数据，当直接向父表插入数据时，GPDB会自动检测并将数据定位到子表中。 2.如何创建分区表 GPDB中，支持两种分区表，范围分区（range）和列表分区（list），下面展开介绍一..
Greenplum -- 最全分区表操作
yimenglin的博客
11-05 5877
一、Greenplum 分区原理 分区表意思是将一个大表在物理上分割成几块，GPDB中的分区表和PostgreSQL中实现原理一样，都是用过表继承、约束来实现。但是与PostgreSQL也有所不同，在PostgreSQL中，一个父表，多个子表来实现分区表，需要手动向子表插入数据，如果向父表插入数据，则直接会被...
gpreport.html路径,GP通过存储过程实现过程代码导出到外部表
weixin_31970409的博客
06-18 482
-- Function: test.p_getprosrc_branch_mid(charactervarying)-- DROP FUNCTION test.p_getprosrc_branch_mid(charactervarying);CREATE OR REPLACE FUNCTION test.p_getprosrc_branch(INv_schema_name character va...
GreenPlum 大数据平台--分区表(二)
Z14523299999的博客
03-18 336
01,创建分区表 [PARTITION BY partition_type (column) [SUBPARTITION BY partition_type (column)] [SUBPARTITION TEMPLATE (template_spec)] [...] (partition_spec) |[SUBPA...
Oracle 分区简述
Kelivenlin&Oracle
10-12 363
oracle8i起开始推出表分区的概念，最初只有范围分区、列表分区和hash分区三种类型，10g以后加入了复合分区，其中复合分区又包括：哈希-范围复合分区和哈希-列表复合分区两方式。每个分区都是一个独立的segment，可存放在不同的表空间中。 范围分区（Range）：即根据字段值的实际情况来划分范围，以范围作为分区划分的依据，将记录存放在不同分区。如果记录无法预测范围，则可创建...
【GreenPlum】记录GreenPlum的分区表
lsr40的博客
06-11 5122
继上一篇GreenPlum的文章之后，过了挺长的一段时间（快1年了） 上一篇文章其实有点像杂记，有点散，没什么主题，都是一些测试和工作中的实际运用的记录 后面打算，稍微整理下第一篇文章，把一些基础知识和性能优化剥离开来，专门写一篇（工作中用到的）性能优化 GreenPlum系列： （一）关于GreenPlum的一些整理：https://blog.csdn.net/lsr40/article...
greenplum数据库扩展分区函数.rar
08-26
– 调用：扩展5个月分区 dw_dat=> select add_partition_month(5); – 查看表： dw_dat=> \d+ gw_test_info; Append-Only Columnar Table “public.gw_test_info” Column | Type | Modifiers | Storage | Stats ...
Greenplum释放AO表SHELL脚本
10-17
AO存储是块级组织，当一个块内的数据大部分都被删除或更新掉时，扫描它浪费的成本实际上是很高的。而PostgreSQL是通过HOT技术以及autovacuum来避免或减少垃圾的。但是Greenplum没有自动回收的worker进程，所以需要...
GreenPlum 表创建
08-12
NULL 博文链接：https://yangyangmyself.iteye.com/blog/2279597
书籍学习|基于SprinBoot+vue的书籍学习平台(源码+数据库+文档)
JIngJaneIL的博客
05-28 1058
首先,论文一开始便是清楚的论述了平台的研究内容。其次,剖析平台需求分析,弄明白“做什么”,分析包括业务分析和业务流程的分析以及用例分析,更进一步明确平台的需求。然后在明白了平台的需求基础上需要进一步地设计平台,主要包罗软件架构模式、整体功能模块、数据库设计。本项目软件架构选择B/S模式和java技术，总体功能模块运用自顶向下的分层思想。再然后就是实现平台并进行代码编写实现功能。论文的最后章节总结一下自己完成本论文和开发本项目的心得和总结。通过书籍学习平台将会使书籍学习各个方面的工作效率带来实质性的提升。
如何mysql数据导入到mongdb
codemami的博客
05-30 661
由于MySQL和MongoDB的数据模型不同（例如，MySQL使用关系模型，而MongoDB使用文档模型），你可能需要转换数据的格式。使用MongoDB驱动程序：你也可以使用MongoDB的官方驱动程序（如Python的pymongo）来编写脚本，将数据直接插入到MongoDB中。注意：如果你的JSON文件包含多个文档，并且它们不是作为数组的一部分（即每个文档都在其自己的行上），则需要使用--jsonArray选项。手动转换：对于小型数据集，你可以手动编辑SQL或CSV文件，将其转换为JSON格式。
oracle中的INTERVAL函数学习总结
weixin_42821740的博客
05-30 324
简单学懂interval函数
行列视（RCV）能否在指定时间生成报表数据？
最新发布
2401_83701843的博客
05-30 117
需要注意的是，要实现指定时间生成报表数据的功能，用户需要确保行列视（RCV）系统已经正确配置并连接了相应的数据源，同时还需要根据实际需求进行报表格式和计算逻辑的设置。此外，系统的稳定性和性能也是影响报表生成的重要因素，用户需要确保系统能够正常运行并处理大量的数据。其次，关于指定时间生成报表数据的需求，用户可以通过行列视（RCV）的定时任务功能来实现。综上所述，行列视（RCV）具备在指定时间生成报表数据的能力，但具体实现方式需要根据系统的配置和使用需求来确定。
mysql实战——mysql主从复制管理
zyjzyjjyzjyz的博客
05-28 581
一、常见的管理操作1、查看主库状态2、查看从库复制的状态3、在主库上查看从库ip和端口信息。
greenplum 根据字段创建分区表语句
04-12
：CREATE TABLE table_name ( column1 datatype, column2 datatype, column3 datatype ) DISTRIBUTED BY (column1) PARTITION BY RANGE (column2)( ...这是一个根据字段创建分区表的 Greenplum 语句。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值