GP删除百亿级别表为何那么快？

最新推荐文章于 2023-06-01 16:12:43 发布
最新推荐文章于 2023-06-01 16:12:43 发布
阅读量491 收藏
点赞数
分类专栏： GP(GreenPlum 大规模并行数据库)
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/MyySophia/article/details/105713121
版权

     昨天进行对GP的一个比较大的业务表进行了drop动作，该表的大小大约在160亿左右，后来经过统计数据大小大约占6TB的空间，primary和mirror空间总共释放了12TB。

     GP的releation都会维护在一个 pg_class 的view中，通过sql 可以查询到某个table在disk的详细信息

                           pg_class的信息

column type references description
relname name   Name of the table, index, view, etc.
relnamespace oid pg_namespace.oid The OID of the namespace (schema) that contains this relation
了解本专栏 订阅专栏 解锁全文 超级会员免费看
MyySophia
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
基于TDC-GP21的完美超声波热量表设计
01-20
引言 　　我国北方的供热改革自2009年迈出了步以来，现在已经真正走上了正轨，预计在未来的几年当中，北方各地也将会加快对于供热计量方面的改革力度，按热量计价收费将会成为今后北方供热供暖方面的一个重点工作。超声波热量表由于其测量方式无接触部件，低压降和低能量消耗而且测量高精度，正在逐渐取代机械式的热量表，成为北方供热供暖热计量方案的。德国acam公司的代产品TDC-GP2，已经得到市场的充分认可，因为其集成度高，测量性能好功耗低的优势。而今，acam公司进一步推出了针对超声波热量表的高集成度TDC-GP21，在性能质量，功耗及其他各个方面将全面超越TDC-GP2，将会取代代而成为超声波热量表的
drop、truncate和delete的区别(个人理解--如何快速删除40亿条数据)
qq_42166308的博客
08-26 1422
（1）DELETE语句执行删除的过程是每次从表中删除一行，并且同时将该行的删除操作作为事务记录在日志中保存以便进行进行回滚操作。 TRUNCATE TABLE 则一次性地从表中删除所有的数据并不把单独的删除操作记录记入日志保存，删除行是不能恢复的。并且在删除的过程中不会激活与表有关的删除触发器。执行速度快。 （2）表和索引所占空间。 当表被TRUNCATE 后，这个表和索引所占用的空间会恢复到初始大小， DELETE操作不会减少表或索引所占用的空间。 drop语句将表所占用的空间全释放掉。 （3）一般而言，
postgresql大批量数据快速删除的方法
se7en.shi的专栏
12-06 7625
droptablet_simhash_real; createtablet_simhash_real( bitstr_idbigserialnotnullprimarykey, bitstrcharactervarying(256), doc_idbigint, bit_countinteger, bit_coun...
GP–大表分区管理(一)
12-14
表分区使用背景： 表分区用以解决特别大的表的问题。比如事实表，解决办法就是将表分成很多小且更容易管理的部分。通过让GreenPlum数据库查询优化器只扫描满足给定查询所需的数据而避免扫描大表的全部内容，分区表能够提升查询性能。 表分布与表分区的区别： Greenplum中每个表都需要有一个分布键，如果你建表的时候没有显示使用语法DISTRIBUTED BY (column) 指定一个分布键，系统也会默认为你指定一个。分布目的是把数据打散到每个节点，打散的规则是hash或者randomly。这样在计算时可以充分利用每个节点的资源进行并行计算。 分布：DISTRIBUTED 分区：PARTITIO
超声波热量表的解决方案—acam TDC-GP2方案
01-20
长期以来，我国北方地区城镇居民采暖一般按住宅面积而不是实际用热量收费，导致用户节能意识差，造成严重的资源浪费，显然该计量方法缺乏科学性。随着能源短缺，国家提倡节能减排，这种粗放式的供暖方式严重违背了环保概念，随之而来的是分户计量，按需取暖的供暖方式。 　　在八十年代初，欧美等发达国家的热量表使用已相当普遍，热力公司以热量表作为计价收费的依据和手段，节能20％～30％。作为建筑节能的一项基本措施，国家建设部已将热量计量收费列入《建筑节能“九五”计划和2010年规划》：对集中供暖的民用建筑安装热表及有关调节设备并按户计量收费的工作，1998年通过试点取得成效，开始推广，2000年在重点城市新建小
知识分享之PostgreSQL——快速清除表中的数据
CN華少的博客
12-13 4797
知识分享之PostgreSQL——快速清除表中的数据 背景 日常我们开发时，我们会遇到各种各样的奇奇怪怪的问题(踩坑o(╯□╰)o)，这个常见问题系列就是我日常遇到的一些问题的记录文章系列，这里整理汇总后分享给大家，让其还在深坑中的小伙伴有绳索能爬出来。 同时在这里也欢迎大家把自己遇到的问题留言或私信给我，我看看其能否给大家解决。 开发环境 系统：windows10 版本：PostgreSQL ...
PostgreSQL 百亿级数据范围查询, 分组排序窗口取值 极致优化 case
weixin_34224941的博客
05-06 1934
本文将对一个任意范围按ID分组查出每个ID对应的最新记录的CASE做一个极致的优化体验。 优化后性能维持在可控范围内，任意数据量，毫秒级返回，性能平稳可控。 比优化前性能提升1万倍。 CASE 有一张数据表，结构： CREATE TABLE target_position ( target_id varchar(80), time big...
pgsql和mysql哪个更早_pgsql与mysql有哪些区别
weixin_42403124的博客
01-18 568
pgsql与mysql有哪些区别发布时间：2020-09-16 14:40:50来源：亿速云阅读：124作者：小新这篇文章给大家分享的是有关pgsql与mysql有哪些区别的内容。小编觉得挺实用的，因此分享给大家做个参考。一起跟随小编过来看看吧。pgsql与mysql的区别有：在pgsql上的功能实现比mysql严谨，对表的连接支持更加完整；pgsql的优化器功能完整，支持索引类型多，而mysql...
Pgsql常用函数及方法（持续更新）
weixin_40863562的博客
05-18 3884
PostgreSQL是一个功能强大的开源对象关系型数据库系统，他使用和扩展了SQL语言，并结合了许多安全存储和扩展最复杂数据工作负载的功能，是目前功能最强大的开源数据库。
PgSQL个人学习笔记（一）——PgSQL介绍
qq_42349305的博客
05-15 1万+
1、什么是PgSQL？ PgSQL（全称PostgreSQL）是一个功能强大的开源对象关系型数据库系统，结合了许多安全存储和扩展最复杂数据工作负载的功能。它支持大部分SQL标准并且提供了许多其他现代特性： ...
电子测量中的基于TDC-GP21的完美超声波热量表设计
11-02
引言 　　我国北方的供热改革自2009年迈出了第一步以来，现在已经真正走上了正轨，预计在未来的几年当中，北方各地也将会加快对于供热计量方面的改革力度，按热量计价收费将会成为今后北方供热供暖方面的一个重点工作。超声波热量表由于其测量方式无接触部件，低压降和低能量消耗而且测量高精度，正在逐渐取代机械式的热量表，成为北方供热供暖热计量方案的首选。德国acam公司的第一代产品TDC-GP2，已经得到市场的充分认可，因为其集成度高，测量性能好功耗低的优势。而今，acam公司进一步推出了针对超声波热量表的高集成度TDC-GP21，在性能质量，功耗及其他各个方面将全面超越TDC-GP2，将会取代第一代而成
Greenplum开源数据仓库-实现100亿监控数据的秒级分析-萧少聪
08-24
Greenplum开源数据仓库-实现100亿监控数据的秒级分析-萧少聪 Greenplum开源数据仓库 在阿里云中Greenplum的扩展
MSSQL、MySQL 数据库删除大批量千万级百万级数据的优化
热门推荐
03-01 3万+
本文转自：http://hi.baidu.com/momodetang/blog/item/5c0891435fd1090f9313c617.html SQL Server上面删除1.6亿条记录，不能用Truncate（因为只是删除其中少部分数据）。 经过实验，每次删除400万条要花1.5 - 3小时，而且是越到后面越慢，正常的话，需要大
pgsql简介
最新发布
黑乎乎的小升
06-01 3528
1、pg和mysql的优劣势2、yum下载安装2.1、启动初始化3、源码编译安装4、pg_ctl管理工具4.1、创建新的数据库，多实例5、常用选项5.1、psql6、配置postgresql6.1、配置文件6.1.1、开启远程登录6.2pg_hba.conf文件6.2.1、文件格式6.2.2、远程连接免密登录6.3、数据的组织结构6.4、创建数据库6.5、删除数据库6.6、数据库文件路径6.7、创建schema模式分类7、管理表7.1、函数7.2、增删改查7.2.1、增加insert。
GP-Sql基础语法
learning_oracle的博客
01-08 1万+
SELECT  SELECT select_list     FROM table_expression     [ORDER BY sort_expression1 [ASC | DESC] [, sort_expression2 [ASC | DESC] ...]]     [LIMIT { number | ALL }]  [OFFSET number] 用户与ORACLE相似，l
StarRocks在千亿级日增数据场景下替换Greenplum的实践
StarRocks的博客
04-23 2536
原Greenplum集群在进行10亿*1亿的关联查询时达到极限，无法支撑更大数据量级的关联查询。使用StarRocks替换Greenplum构建新的集群，在进行736亿*15亿的超大量级数据关联查询时，可以顺利完成，并且耗时很短，对业务的整体提升巨大。 一、使用背景 1.1 选用原因 我司原有业务查询使用的数据库为Greenplum，在数据源变更后，数据量从原来的日增千万级别（近百G）暴增至日增千亿（10T）级别，原有的12台GP集群在数据量增长后存在以下痛点： 1、数据导入 原有的数据导入借.
【PostgreSQL】删除postgresql表中的数据
Fanjufei的博客
05-25 1万+
需要注意的是，使用 DROP TABLE 命令将会直接删除整个表，包括其中的数据和约束等，操作不可恢复。需要注意的是，使用 TRUNCATE 命令将会删除表中的所有数据，并且不可恢复。其中，table_name 是要删除数据的表名，condition 是删除条件。如果没有指定 condition，则会删除该表中的所有数据。另外，如果需要删除表本身，可以使用 DROP TABLE 命令。其中，table_name 是要删除数据的表名。其中，table_name 是要删除的表名。
greenplum(gp)的常用命令
JasonLee实时计算
10-12 6054
下面列举一些gp数据库的常用命令,这只是其中的一部分 连接gp命令: psql -d 库名 -h ip地址 -p 端口号 -U 用户名; gp 添加分区: alter table 表名 add partition d20190611 values('20190611') ; gp 添加字段: alter table 表名 add column update_flag varchar(...
PostgreSQL安装详细步骤（linux）
diaguo7961的博客
06-09 6047
官方安装文档：http://www.postgresql.org/download/linux/redhat/ 1. 检查PostgreSQL 是否已经安装 Linux-软件包管理-rpm命令管理-查询 rpm -qa | grep postgres 检查PostgreSQL 是否已经安装rpm -qal | grep postgres 检查PostgreSQL 安...
gp 删除外部表
05-30
如果您想删除一个外部表，可以使用以下SQL语句： ``` DROP EXTERNAL TABLE table_name; ``` 其中，`table_name`是您要删除的外部表的名称。执行此语句后，外部表及其相关的元数据将被删除，但是源数据不会被删除。...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

MyySophia

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值