PostgreSQL 字段使用pglz压缩测试

已于 2024-09-30 14:34:00 修改
阅读量507 收藏 2
点赞数 9
分类专栏： postgresql 文章标签： postgresql 数据库 运维
于 2024-09-30 14:17:39 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lee_vincent1/article/details/142649730
版权

PostgreSQL 字段使用pglz压缩测试

测试一：

创建测试表 yewu1.test1，并插入1000w行数据
创建测试表 yewu1.test2，使用 pglz压缩字段，并插入1000w行数据

–创建测试表1，并插入1000w行数据

white=# create table yewu1.test1 (name varchar(20));
CREATE TABLE
white=# 
white=# SELECT attname, attcompression
white-# FROM pg_attribute
white-# WHERE attrelid = 'yewu1.test1'::regclass;
 attname  | attcompression 
----------+----------------
 tableoid | 
 cmax     | 
 xmax     | 
 cmin     | 
 xmin     | 
 ctid     | 
 name     | 
(7 rows)
white=# 
white=# DO $$
white$# DECLARE aa INTEGER;
white$# BEGIN
white$#     FOR aa IN 1..10000000 LOOP
white$#         INSERT INTO yewu1.test1 VALUES ('white ' || aa);
white$# END LOOP;
white$# COMMIT;
white$# END $$;
DO
white=# 
white=# SELECT pg_size_pretty(pg_table_size('yewu1.test1')) AS table_size;
 table_size 
------------
 422 MB
(1 row)

–创建测试表2，使用 pglz压缩字段，并插入1000w行数据

white=# 
white=# create table yewu1.test2 (name varchar(20) COMPRESSION pglz);
CREATE TABLE
white=# 
white=# SELECT attname, attcompression
white-# FROM pg_attribute
white-# WHERE attrelid = 'yewu1.test2'::regclass;
 attname  | attcompression 
----------+----------------
 tableoid | 
 cmax     | 
 xmax     | 
 cmin     | 
 xmin     | 
 ctid     | 
 name     | p
(7 rows)
white=# 
white=# DO $$
white$# DECLARE aa INTEGER;
white$# BEGIN
white$#     FOR aa IN 1..10000000 LOOP
white$#         INSERT INTO yewu1.test2 VALUES ('white ' || aa);
white$# END LOOP;
white$# COMMIT;
white$# END $$;
DO
white=# 
white=# SELECT pg_size_pretty(pg_table_size('yewu1.test2')) AS table_size;
 table_size 
------------
 422 MB
(1 row)

对比表yewu1.test1和yewu1.test2的大小，没体现出压缩了。

测试二：

创建测试表 yewu1.test3，text数据类型，并插入1000w行数据
创建测试表 yewu1.test4，text数据类型，使用 pglz压缩字段，并插入1000w行数据

–创建测试表3，并插入1000w行数据

white=# create table yewu1.test3 (name text);
CREATE TABLE
white=# 
white=# SELECT attname, attcompression
white-# FROM pg_attribute
white-# WHERE attrelid = 'yewu1.test3'::regclass;
 attname  | attcompression 
----------+----------------
 tableoid | 
 cmax     | 
 xmax     | 
 cmin     | 
 xmin     | 
 ctid     | 
 name     | 
(7 rows)

white=# 
white=# DO $$
white$# DECLARE aa INTEGER;
white$# BEGIN
white$#     FOR aa IN 1..10000000 LOOP
white$#         INSERT INTO yewu1.test3 VALUES ('white ' || aa);
white$# END LOOP;
white$# COMMIT;
white$# END $$;
DO
white=# 
white=# SELECT pg_size_pretty(pg_table_size('yewu1.test3')) AS table_size;
 table_size 
------------
 422 MB
(1 row)

–创建测试表4，使用 pglz压缩字段，并插入1000w行数据

white=# create table yewu1.test4 (name text COMPRESSION pglz);
CREATE TABLE
white=# 
white=# SELECT attname, attcompression
white-# FROM pg_attribute
white-# WHERE attrelid = 'yewu1.test4'::regclass;
 attname  | attcompression 
----------+----------------
 tableoid | 
 cmax     | 
 xmax     | 
 cmin     | 
 xmin     | 
 ctid     | 
 name     | p
(7 rows)

white=# 
white=# DO $$
white$# DECLARE aa INTEGER;
white$# BEGIN
white$#     FOR aa IN 1..10000000 LOOP
white$#         INSERT INTO yewu1.test4 VALUES ('white ' || aa);
white$# END LOOP;
white$# COMMIT;
white$# END $$;
DO
white=# 
white=# SELECT pg_size_pretty(pg_table_size('yewu1.test4')) AS table_size;
 table_size 
------------
 422 MB
(1 row)

对比表yewu1.test3和yewu1.test4的大小，没体现出压缩了。

测试三：

创建测试表 yewu1.test5，text数据类型，并插入1000w行重复的数据
创建测试表 yewu1.test6，text数据类型，使用 pglz压缩字段，并插入1000w行重复的数据

–创建测试表5，并插入1000w行重复的数据

white=# create table yewu1.test5 (name text);
CREATE TABLE
white=# 
white=# SELECT attname, attcompression
white-# FROM pg_attribute
white-# WHERE attrelid = 'yewu1.test5'::regclass;
 attname  | attcompression 
----------+----------------
 tableoid | 
 cmax     | 
 xmax     | 
 cmin     | 
 xmin     | 
 ctid     | 
 name     | 
(7 rows)

white=# 
white=# DO $$
white$# DECLARE aa INTEGER;
white$# BEGIN
white$#     FOR aa IN 1..10000000 LOOP
white$#         INSERT INTO yewu1.test5 VALUES ('white12345678');
white$# END LOOP;
white$# COMMIT;
white$# END $$;
DO
white=# 
white=# SELECT pg_size_pretty(pg_table_size('yewu1.test5')) AS table_size;
 table_size 
------------
 422 MB
(1 row)

–创建测试表6，使用 pglz压缩字段，并插入1000w行重复的数据

white=# create table yewu1.test6 (name text COMPRESSION pglz);
CREATE TABLE
white=# 
white=# SELECT attname, attcompression
white-# FROM pg_attribute
white-# WHERE attrelid = 'yewu1.test6'::regclass;
 attname  | attcompression 
----------+----------------
 tableoid | 
 cmax     | 
 xmax     | 
 cmin     | 
 xmin     | 
 ctid     | 
 name     | p
(7 rows)

white=# 
white=# DO $$
white$# DECLARE aa INTEGER;
white$# BEGIN
white$#     FOR aa IN 1..10000000 LOOP
white$#         INSERT INTO yewu1.test6 VALUES ('white12345678');
white$# END LOOP;
white$# COMMIT;
white$# END $$;
DO
white=# 
white=# SELECT pg_size_pretty(pg_table_size('yewu1.test6')) AS table_size;
 table_size 
------------
 422 MB
(1 row)

对比表yewu1.test5和yewu1.test6的大小，没体现出压缩了。

测试四：

创建测试表 yewu1.test7，带有主键，text数据类型，并插入1000w行重复的数据
创建测试表 yewu1.test8，带有主键，text数据类型，使用 pglz压缩字段，并插入1000w行重复的数据

–创建测试表7，带有主键，并插入1000w行重复的数据

white=# create table yewu1.test7 (
white(#     id serial primary key,
white(#     name text
white(# );
CREATE TABLE
white=# 
white=# SELECT attname, attcompression
white-# FROM pg_attribute
white-# WHERE attrelid = 'yewu1.test7'::regclass;
 attname  | attcompression 
----------+----------------
 tableoid | 
 cmax     | 
 xmax     | 
 cmin     | 
 xmin     | 
 ctid     | 
 id       | 
 name     | 
(8 rows)

white=# 
white=# DO $$
white$# DECLARE aa INTEGER;
white$# BEGIN
white$#     FOR aa IN 1..10000000 LOOP
white$#         INSERT INTO yewu1.test7 VALUES (aa,'white' || aa);
white$# END LOOP;
white$# COMMIT;
white$# END $$;
DO
white=# 
white=# SELECT pg_size_pretty(pg_table_size('yewu1.test7')) AS table_size;
 table_size 
------------
 490 MB
(1 row)

–创建测试表8，带有主键，使用 pglz压缩字段，并插入1000w行重复的数据

white=# create table yewu1.test8 (
white(#     id serial primary key,
white(#     name text COMPRESSION pglz
white(# );
CREATE TABLE
white=# 
white=# SELECT attname, attcompression
white-# FROM pg_attribute
white-# WHERE attrelid = 'yewu1.test8'::regclass;
 attname  | attcompression 
----------+----------------
 tableoid | 
 cmax     | 
 xmax     | 
 cmin     | 
 xmin     | 
 ctid     | 
 id       | 
 name     | p
(8 rows)

white=# 
white=# DO $$
white$# DECLARE aa INTEGER;
white$# BEGIN
white$#     FOR aa IN 1..10000000 LOOP
white$#         INSERT INTO yewu1.test8 VALUES (aa,'white' || aa);
white$# END LOOP;
white$# COMMIT;
white$# END $$;
DO
white=# 
white=# SELECT pg_size_pretty(pg_table_size('yewu1.test8')) AS table_size;
 table_size 
------------
 490 MB
(1 row)

对比表yewu1.test7和yewu1.test8的大小，没体现出压缩了。

测试五：

清空测试表 yewu1.test8，并修改字段存储类型为MAIN，再插入1000w行重复的数据

–清空测试表8，并修改字段存储类型为MAIN，再插入1000w行重复的数据

white=# truncate table yewu1.test8;
TRUNCATE TABLE
white=# SELECT pg_size_pretty(pg_table_size('yewu1.test8')) AS table_size;
 table_size 
------------
 8192 bytes
(1 row)

white=# 
white=# SELECT attname, attcompression,attstorage
white-# FROM pg_attribute
white-# WHERE attrelid = 'yewu1.test8'::regclass;
 attname  | attcompression | attstorage 
----------+----------------+------------
 tableoid |                | p
 cmax     |                | p
 xmax     |                | p
 cmin     |                | p
 xmin     |                | p
 ctid     |                | p
 id       |                | p
 name     | p              | x
(8 rows)

white=# 
white=# ALTER TABLE yewu1.test8 ALTER COLUMN name SET STORAGE MAIN;
ALTER TABLE
white=# SELECT attname, attcompression,attstorage
white-# FROM pg_attribute
white-# WHERE attrelid = 'yewu1.test8'::regclass;
 attname  | attcompression | attstorage 
----------+----------------+------------
 tableoid |                | p
 cmax     |                | p
 xmax     |                | p
 cmin     |                | p
 xmin     |                | p
 ctid     |                | p
 id       |                | p
 name     | p              | m
(8 rows)

white=# 
white=# DO $$
white$# DECLARE aa INTEGER;
white$# BEGIN
white$#     FOR aa IN 1..10000000 LOOP
white$#         INSERT INTO yewu1.test8 VALUES (aa,'white' || aa);
white$# END LOOP;
white$# COMMIT;
white$# END $$;
DO
white=# 
white=# SELECT pg_size_pretty(pg_table_size('yewu1.test8')) AS table_size;
 table_size 
------------
 490 MB
(1 row)

–未完待续

文牧之
关注
专栏目录
PostgreSQL获取表名和字段名
12-13
在PostgreSQL数据库管理系统中，获取表名和字段名是数据库管理员和开发人员日常工作中常见的任务。这有助于了解数据库结构，进行数据操作、查询优化或设计新的应用程序。以下是一些关于如何在PostgreSQL中获取这些...
CodeSmith8.0及MySql、Postgresql字段注释修复
03-16
然而，在使用过程中，可能会遇到一个问题，即在读取MySQL和PostgreSQL数据库时无法获取字段的注释信息。这个问题主要源于相关DLL文件的缺失或不兼容。本文将详细介绍如何通过提供的资源进行修复。 首先，让我们关注...
Postgresql MySQL 性能测试TPCH-环境部署
08-26
"Postgresql MySQL 性能测试TPCH-环境部署" TPCH（Transaction Processing Performance Council Benchmark H）是一种工业标准的基准测试工具，用于评估数据库管理系统的性能。TPCH-环境部署是指将TPCH基准测试工具...
Postgresql回归测试
03-23
回归测试是一套复杂完整的测试，用来测试嵌入在PostgreSQL里的的SQL实现。它同时测试标准SQL操作和PostgreSQL的扩展SQL。 　回归测试是一套复杂完整的测试，用来测试嵌入在PostgreSQL里的的SQL实现。它同时测试标准...
Postgresql-XL使用总结
01-25
Postgresql-XL使用总结 Postgresql-XL是基于Postgres-XC的开源数据库集群，具有可横向扩展的特点。本文将对Postgresql-XL的使用总结进行详细的知识点解析。 1. Postgresql-XL概述 Postgresql-XL是一个基于...
King3399 SDK（ubuntu文件系统）编译简明教程
scd
10-03 797
文章主要介绍King3399（瑞芯微rk3399开发板，荣品）官方SDK（Ubuntu文件系统）编译过程，涉及环境配置、网络连接（有线局域网）、远程文件复制（SSH）等
【2024】基于mysqldump的数据备份与恢复
最新发布
皮皮的博客
10-03 516
本文记录了mysqldump对于MySQL数据库的备份与恢复用法
点评项目-2-完善注册登录业务
m0_75138009的博客
09-29 548
需要处理的业务：在网页发送 /user/code 路径下的 post 请求后，我们需要检验手机号后，向合法的手机号发送一个随机生成的电话号。
Spring的热部署工具和数据库密码加盐操作
2301_77053417的博客
09-28 739
加密过程：用户输入的密码+盐值 --> 字符串1，然后使用md5对字符串1加密得到字符串2，然后字符串2+盐值 --> 字符串3，这个字符串3就是存储在数据库中的密文。背景：如果我们的密码明文存储在数据库中，要是被窃取了是非常的危险的，所以我们在数据库中存储的密码不能是明文的，需要进行加密后存储，也就是数据库中存储的是密文。解密过程：取出数据库中的盐值和用户输入的密码得到字符串1，使用md5对字符串1加密得到字符串2，然后验证字符串2和数据库中的密文即可。做好以上的步骤，你项目中的热部署就已经做好了。
World of Warcraft [CLASSIC][80][Grandel] Call to Arms: Victory in Wintergrasp
qq 117791303
10-02 264
Wintergrasp 冬拥湖 120 VS 120
[EBPF] 实时捕获DM数据库是否存在SQL阻塞
飞奔的屎壳郎
09-27 1026
名称版本linux版本（centos8.5）DM88.1.4.27python利用ebpf技术在不登录数据库的情况下，通过对数据库的函数添加钩子，实时的对数据库是否存在阻塞判断现有的监控逻辑都是新建数据库用户执行SQL语句来判断阻塞情况，告警的实时性取决于监控的周期频率，而使用ebpf技术能够解决这个痛点ebpf有多种实现方式，这里便于理解测试的话 使用python语言内置c语言的形式进行了说明。涉及到生产环境应该是使用go语言或者c语言去做能够有效避免源码泄露等问题。
Redis事务
zhzjn的博客
09-30 342
Redis事务可以通过MULTI、EXEC、WATCH和DISCARD指令来实现。1. MULTI指令：表示事务的开始，之后的所有指令都会被逐一记录，但不会立即执行。2. EXEC指令：表示事务的执行，会按照记录的指令逐一执行。3. WATCH指令：可以监视一个或多个键的变化，如果在事务执行期间被其他客户端修改，事务会被回滚。4. DISCARD指令：表示事务的撤销，可以放弃之前记录的指令。
ubuntu22上C/C++程序使用weston+wayland+OpenGLES渲染
Flying_Motor的博客
09-27 498
一，安装依赖软件：sudo apt install zlib1g-dev libssl-dev libgles2-mesa-dev libsystemd-dev libpng-dev libglib2.0-dev libwayland-dev weston libweston-9-dev。
hive/impala/mysql几种数据库的sql常用写法和函数说明
biqidaoer的专栏
09-27 440
做大数据开发的时候，会在几种库中来回跳，同一个需求，不同库函数和写法会有出入，在此做汇总沉淀。
【RocketMQ】RocketMQ应用难点
记录一名在读研究生的学习笔记、感悟、开发产物
09-30 860
本文探讨了RocketMQ中消息重复消费的问题及其解决方案，尤其是在CLUSTERING模式下的扩容影响。文章分析了重复消费的原因，如广播模式、负载均衡模式下的多consumerGroup消费、消费者组内的动态变化及网络延迟等，并提出了利用唯一标识进行去重的方法。此外，还讨论了如何选择合适的存储机制以高效处理大量消息标识，如HashMap、MySQL、Redis以及推荐的布隆过滤器等方案。对于防止消息堆积与确保消息不丢失，也给出了相应的策略和技术措施。
IT基础监控范围和对象
MXsoft618的博客
09-29 577
综上所述，监控易的监控范围非常广泛，几乎涵盖了所有主流的IT基础设施以及相关的设备和系统。通过全面、实时、准确的监控功能，监控易为运维团队提供了强大的支持，帮助他们及时发现并解决潜在的问题，确保业务系统的稳定运行和高效运维。除了上述监控范围外，监控易还支持其他扩展监控功能，如被动式设备监控、自定义脚本监控、高级监测点监控等。监控易作为一款由美信时代独立自主研发的分布式一体化集中监控平台，其监控范围极为广泛，几乎涵盖了所有主流的IT基础设施以及相关的设备和系统。
MQTT--EMQX入门+MQTTX使用
CJPSR的博客
09-30 1094
EMQ X基于 Erlang/OTP 平台开发的MQTT 消息服务器，是开源社区中最流行的 MQTT 消息服务器。EMQ X 是开源百万级分布式。
AI驱动TDSQL-C Serverless数据库技术实战营--- 操作与电商可视分析
chasemydreamidea的博客
09-27 752
本文将基于腾讯云的高性能应用服务HAI和TDSQL-C MYSQL Serverless版构建AI电商数据分析系统。HAI作为一个面向AI和科学计算的GPU应用服务产品，它具有强大的计算能力，让复杂的AI模型的快速部署和运行的可行性加大，进而支持自然语言处理和图形生成等高级任务。TDSQL-C MYSQL版是一款云原生关系型数据库，其100%的MySQL兼容性，以及极致的弹性、高性能和高可用性，是电商业务中处理海量数据存储和查询的理想选择。本文实践除了使用TDSQL-C MYSQL外，通过python语言和
MySQL索引
weixin_47755728的博客
09-29 360
为什么用索引可以使查询变快？
postgresql 字段截取
08-29
在PostgreSQL中，如果你想要从字段中截取特定长度的内容，可以使用`substring`函数。这个函数的基本语法如下： ```sql substring(column_name FROM start_character_count FOR length) ``` - `column_name`是你想...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值