postgres:清理过程(2)，可见性映射

最新推荐文章于 2024-09-07 09:44:23 发布
最新推荐文章于 2024-09-07 09:44:23 发布
阅读量362 收藏 1
点赞数
分类专栏： postgresql
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/shipeng1022/article/details/112251574
版权

可见性映射(VM)

清理过程代价昂贵，因此pg在8.4版本以后引入了可见性映射VM，用于减少清理的开销。如图：

图中有三个页面，其中第0和第2页面包含死元组，而第一页不包含。表的可见性映射保存着哪些页面包含死元组的信息。这种情况下，清理过程可以参考VM，跳过第1个页面。

每个VM由一个或者多个8KB页面组成，文件后缀_vm保存。9.6版本以后vm有所加强，总结一下vm包含两种信息：

  • 哪些页面包含死元组
  • 页面中的元组是否全部被冻结
DBGuardian
关注
专栏目录
PostgreSQL VACUUM可见性
帅的数说
03-27 566
分两种情况，一是XMIN事务未提交，一个是xmin事务已提交。 针对xmin未提交的事务，即当前的tuple刚insert还未提交： 1）元组不合法，即坏元组时，返回HEAPTUPLE_DEAD 2）该tuple是当前事务产生的：此时这个记录在这个事务未删除或只是被锁住或进行了delete但是delete abort了，那返回HAPTUPLE_INSERT_IN_PROGRESS；若则记...
PostgreSQL MVCC可见性判断
帅的数说
03-12 1543
1、知识准备 1）Tuple格式头HeapTupleHeaderData typedef struct HeapTupleFields{ TransactionId t_xmin; /* inserting xact ID */ TransactionId t_xmax; /* deleting or locking xact ID */ union{ ...
PostgreSQL可见性映射表(VM)和VACUUM操作
冯岳松的博客
08-01 659
VM文件仅在快速清理中被用到，对于FULLVACUUM，由于要执行跨页清理等复杂操作，还是需要扫描整个表文件，此时VM作用不大。当前VM文件是一个提示（hint）来加快VACUUM的速度，即使损坏了VM文件，仅仅会导致VACUUM忽略那些需要清理的页面，但元组的可见性依然不变，所以对数据不会产生任何影响。当页中所有的元组对于当前事务都是可见的，VM中对应的位为1，表示没有无效元组。当页在VM中对应的标志为是1时，VACUUM会忽略对应的页，大大提高VACUUM的效率。每个VM文件的页中，可用的字节为。...
postgres 源码解析46 可见性映射表VM
Serendipity_Shy
12-22 1742
postgres 源码解析46 可见性映射表VM
postgres:清理过程(1)
乡下人
01-05 489
并发清理 1 移除死元组 移除每一页中的死元组，并对每一页内的活元组仅从碎片整理 移除指向死原则的索引原则 2 冻结旧的事务标识 如有必要，冻结旧元组的事务标识 更新与冻结事务标识相关的系统视图(pg_database和pg_class) 如果可能，移除不必要的CLOG文件 3 其他 更新已处理表的空闲空间映射(FSM)和可见性映射(VM) 更新一些统计信息(pg-stat_all_tables等) 并发清理伪代码： (1) FOR each table (2) Acqui
Postgresql 第六章 清理过程
weixin_43971913的博客
10-11 1085
第六章 清理过程1. 概念2. 并发清理2.1 清理过程2.1.1 第一部分：冻结处理2.1.2 第二部分：移除死元组2.2 可见性映射2.3 冻结过程3. 完整清理（FULL VACUUM） 1. 概念 清理（VACUUM）是一种维护过程，有助于PostgreSQL的持久运行。 两个主要任务： 1.删除死元组 为了删除死元组，清理过程有两种模式：并发清理（Concurrent Vacuum） 与完整清理（Full Vacuum） 并发清理：会删除表文件每个页面中的死元组，而其他事务可以在其运行时继续读取该
【0324】Postgres内核 Shared Buffer Access Rules （共享缓冲区访问规则）说明
最新发布
专注【PostgreSQL源码学习&研究】
09-07 281
共享磁盘缓冲区有两套独立的访问控制机制：引用计数（a/k/a pin计数）和缓冲区内容锁。（实际上，还有第三级访问控制：在访问任何属于某个关系表的页面之前，必须持有该关系表的适当类型的锁。这里不讨论关系级锁。在对缓冲区做任何操作之前，必须“对缓冲区pin”（即增加其引用计数,未pin的缓冲区随时可能被回收并用于其他页面，因此对其进行操作是不安全的。通常，通过获得pin，通过释放pin。对于单个后端进程来说，同时pin一个页面多次是完全正常的；缓冲区管理器高效地处理这种情况。长时间持有pin。
07-PG清理——VACUUM
qq_29431123的博客
08-03 1204
PG采用了和其他RDBMS完全不同的方式实现了多版本并发控制（简称MVCC）。在Oracle或InnoDB中，当我们删除或更新一条记录时，数据库会将删除的记录放到undo段中，undo段中的记录前镜像保证了数据库的一致性。这种实现方式经常会遇到两个问题，一个是在Oracle 常见的01555错误，遇到这种错误DBA一般会调大undo_retention参数或增大UNDO表空间；另一个问题就是delete大量数据时可能会造成其他事务查询效率降低，而回滚delete操作更是让DBA头疼。
【数据库学习】Postgres(PG)原理及底层实现
午后阳光
03-23 6761
事务（transaction）：是用户定义的一组数据库操作，要么全做要么全不做，失败即回滚。保存点（savePoint）在一个大的事务中，可以把操作过程分成几个部分，第一个部分执行成功后可以建一个保存点，若后面的部分执行失败，则回滚到此保存点，而不必回滚整个事务。事务的实现即：RDBMS采取何种技术确保事务的ACID特性？回退（rollback）：撤销sql执行过程。事务管理可以管理insert、update、delete语句；不能回退create、drop操作。
10-PG清理——VACUUM FULL
qq_29431123的博客
08-03 729
然后，vacuuming可以删除过时的元组，并为已经存在的页面中的新元组释放一些空间。对于大型对象，它的开销可能太大，因此该扩展还提供了另一个名为pgstattuple_approx的函数，该函数跳过可见性映射中跟踪的页，以显示近似的数字。因此，一种常见的方法是在不同的系统之间分摊负载:在主服务器上保持快速OLTP查询，并将所有OLAP事务定向到副本。如果表或索引文件的大小增加了，vacuum可以清理页中的一些空间，但很少能减少页的数量。在某些情况下，长事务是应用程序或驱动程序bug的结果，而不是必须的。
7.PostgreSQL物理结构-逻辑结构相关概念
weixin_43346403的博客
03-24 459
postgresql
PostgreSQL 内核解读系列 - 第4节 存储管理（下）
于巍，花名漠雪，移动云数据库技术委员会主任，海山数据库研发负责人，PG中文社区常委，PG中文社区海外联络人。15年数据库内核研发经验，4年美国、以色列等海外研发经历，华为GaussDB、阿里云PolarDB、移动云He3DB等核心架构
11-27 126
本文整理自阿里云数据库开源社区 Maintainer 于巍（花名漠雪），在PostgreSQL数据库内核解读系列的分享。本篇内容主要分为四个部分： 1. 磁盘管理 2. 空闲空间映射表（FSM） 3. 可见性映射表（VM） 4. 内存管理。本文整理自阿里云数据库开源社区 Maintainer 于巍（花名漠雪），在PostgreSQL数据库内核解读系列的分享。本篇内容主要分为四个部分： 1. 磁盘管理 2. 空闲空间映射表（FSM） 3. 可见性映射表（VM） 4. 内存管理。
《postgresql指南--内幕探索》第六章 清理过程
hmxz2nn的博客
05-10 1019
清理过程（通常简称为VACUUM）是一种维护过程，有助于 PostgreSQL 的持久运行。它的两个主要任务是删除死元组，以及冻结事务标识。 为了移除死元组，清理过程有两种模式，分别是并发清理与完整清理。并发清理过程会删除表文件每个页面中的死元组，而其他事务可以在其运行时继续读取该表。相反，完整清理不仅会移除整个文件中所有的死元组，还会对整个文件中所有的活元组进行碎片整理。其他事务在完整清理运行时无法访问该表。 尽管清理过程对PostgreSQL至关重要，但与其他功能相比，它的改进相对其他功能而言要慢一些。
postgresql数据库中Vacuum
weixin_73350116的博客
08-10 1317
在使用 oracle数据库，我们都知道，如果使用delete语句，数据并不是立即清理掉，而只是被标价为不可见，往往需要手动处理，例如（alter tablespace *****）。产生高水位的原因，往往是当数据库中的数据不断插入、更新或删除时，表或索引的大小可能会增长，占用更多的存储空间。如果存储空间使用率达到了接近或超过数据库的容量限制，则会导致性能下降、查询执行变慢甚至数据库崩溃。所以工作中建议需要周期性处理高水位问题。
第三章 存储管理
Xu__Dong的博客
06-18 835
pg的每一个子进程都拥有多个私有的内存上下文，每个子进程的内存上下文组成一个树形结构，其根节点为TopMemoryContext。在根节点之下有多个子节点，每个子节点都用于不同的功能模块，例如CacheMemoryContext用于管理Cache；ErrorMemoryContext用于错误处理，每个子节点又可以有自己的子节点。
【 PG 入门系列 】PostgreSQL的物理存储空间（六）
SUOYUEのBLOG
02-27 1614
PG的物理存储空间介绍，B站同步教学视频
可见性是什么？（通俗易懂）
duyabc的博客
12-10 6864
谈谈硬件架构模型 先谈谈硬件是如何工作的，举个例子，你在window操作系统上需要下载一个游戏（20M)，就需要使用cpu和内存了，在这个过程中cpu负责计算，比如计算下载进度，统计下载完成一共需要多少时间等，内存为cpu提供数据的，负责保存游戏的所有信息，比如游戏的大小（20M）数据。在这个过程中，cpu从内存上取游戏大小这个数据，然后cpu去计算下载进度，把计算出的进度结果再写到内存，最终呈现到用户页面，大概对cpu和内存应该有个大概的认识了吧！看上去下载游戏这个过程分工明确，没有问题，但实际上cpu
PostgreSQL 之 FSM和VM的理解
HighGO
04-03 4307
表或索引对象被创建后，可以通过relfilenode定位到表对象的存放位置，进入对象所在路径，你会发现有后缀为“_fsm”或“_vm”命名的文件，对fsm 和 vml理解如下： 空闲空间映射(FSM) 每一个表和索引（除了哈希索引）都有一个空闲空间映射（FSM）来保持对关系中可用空间的跟踪； 它伴随着主关系数据被存储在一个独立的关系分支中，以关系的文件节点号加上一个_fsm后缀命名； 例如...
postgresql不考虑可见性、读取脏页、物理页、被删除/更新的元组
u011481289的博客
10-27 432
编译、安装 pg_dirtyread插件。 在 pg_dirtyread插件报解压目录执行： make make install 之后pgsql连接后，执行 CREATE EXTENSION pg_dirtyread; 执行参考pg_dirtyread插件报解压目录README.md文件内容执行select命令。 加粗为表名，表属性名和属性类型（可使用\d 表名 查看） select * FROM ux_dirtyread('ux_type’::regclass) as t(tableoid oid, ct
# docker tag postgres:latest myusername/postgres:latest Error response from daemon: No such image: postgres:latest
06-01
如果你在执行 `docker tag postgres:latest myusername/postgres:latest` 命令时出现了 `Error response from daemon: No such image: postgres:latest` 的错误提示，可能是因为本地没有名为 `postgres:latest` 的镜像。在这种情况下，你需要先构建 `postgres` 镜像，然后再使用 `docker tag` 命令为其添加一个新标签。 请按照以下步骤操作： 1. 进入包含 `docker-compose.yml` 文件的目录。 2. 执行以下命令来构建 `postgres` 服务的镜像： ``` docker-compose build postgres ``` 该命令将会使用 `docker-compose.yml` 文件中定义的 `postgres` 服务的配置信息来构建镜像，并将其命名为 `postgres`。 3. 执行以下命令来查看构建的镜像： ``` docker images ``` 该命令将会列出本地所有的 Docker 镜像，你可以在其中找到刚刚构建的 `postgres` 镜像。 4. 执行以下命令来为 `postgres` 镜像添加一个新的标签： ``` docker tag postgres:latest myusername/postgres:latest ``` 该命令会将 `postgres:latest` 镜像的一个新标签 `myusername/postgres:latest`，以便将其推送到 Docker Hub 或其他镜像仓库中。 注意：在使用 `docker-compose build` 命令构建镜像时，Docker Compose 会根据 `docker-compose.yml` 文件中定义的服务配置信息来构建镜像。因此，如果你需要修改服务的配置信息，例如修改 `postgres` 服务的 Dockerfile 或其他构建参数，你需要在重新构建镜像前修改 `docker-compose.yml` 文件中相应的配置信息。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值