PostgreSQL 数据库检测到 ShareLock 死锁的处理方法

最新推荐文章于 2024-05-16 07:17:33 发布
最新推荐文章于 2024-05-16 07:17:33 发布
阅读量3.4k 收藏 8
点赞数 1
分类专栏： 数据库
原文链接：https://mp.weixin.qq.com/s/iGnRKIavnG0Q9TiGXVl1rg
版权

PostgreSQL 是一个免费数据库，对于处理分析型+交易型混合型系统来说确实很不错，特别是版本的升级到11.2后性能提升很多，很多运行机制跟Oracle越来越接近，确实很强大，但是开源系统确实存在一些不如意地方，需要长时间项目问题集锦积累才能慢慢的领悟。

而作为从非功能测试转型做技术运维，在运维过程中会从非功能方面（高可用性、高可靠性、可扩展性等）和性能测试优化方面考虑确实可以避免很多生产不必要的故障问题，但是对于开源的技术在版本迭代过程中总会有些不如意的技术故障还是需要我们自己持续性学习、挖掘、积累、提升，才能确保技术能持续满足业务运营发展和市场需求。

如下问题是我们17年上线的系统，经2年的运行，很多业务表达到千万级，导致需要读写分离、分表等来优化，但是问题还是偶尔出现，说明技术还不到位，例如如下：

问题原因：

目前生产环境使用postgres9.5版本，主从配置，但是因为行业业务的特殊性，有些回访表等都是三四百万级别的，而且日常更新频繁度非常高，日常使用频繁比较高的表，一天insert、update都是接近十万，delete三四万以上，导致在对该表的统计信息不准确，而pg默认 autovacuum默认参数导致部分表因本身存量数据大，更新比例小，导致这些日常被用到的大表反而没办法被重新统计分析，最终导致磁盘IO 高，CPU 高问题，而因为在调整过程中调整不当也导致如下，在对表进行批量update 时，而PG就进行 autovacuum_analyze，结果导致出现 ShareLock错误，具体错误如下：

错误内容：

2019-04-14 15:15:47,707 ERROR [thinkgem.jeesite.common.repeat_form_validator.Token] - 2-
2019-04-14 15:15:47,707 ERROR [thinkgem.jeesite.common.repeat_form_validator.Token] - org.apache.shiro.web.servlet.ShiroHttpSession@
461f4ab1
2019-04-14 15:16:15,952 ERROR [thinkgem.jeesite.common.repeat_form_validator.Token] - 2-
2019-04-14 15:16:15,952 ERROR [thinkgem.jeesite.common.repeat_form_validator.Token] - org.apache.shiro.web.servlet.ShiroHttpSession@
285d498f
2019-04-14 15:16:18,138 ERROR [thinkgem.jeesite.common.repeat_form_validator.Token] - 1-61322fb9-7ca7-482b-99ee-913074957a94
2019-04-14 15:16:24,227 ERROR [500.jsp] -
Error updating database. Cause: org.postgresql.util.PSQLException: 错误: 检测到死锁

详细：进程6533等待在事务 36964707上的ShareLock; 由进程10733阻塞.

进程10733等待在事务 36964708上的ShareLock; 由进程6533阻塞.

建议：详细信息请查看服务器日志.

在位置：当更新关系"visit_crd"的元组(11314, 33)时

The error may involve defaultParameterMap
The error occurred while setting parameters
SQL: UPDATE visit_crd SET visit_plan_id = ?, customer_number = ?, call_id = ?, time_start = ?, time_end = ?,

duration = ?, type = ?, route = ?, cpn = ?, cdpn = ?, recording = ?, trunk_number = ?, update_by = ?, updat
e_date = ?, remarks = ?, affiliation = ?, update_ind = ?, execute_ind = ? WHERE id = ?
Cause: org.postgresql.util.PSQLException: 错误: 检测到死锁

详细：进程6533等待在事务 36964707上的ShareLock; 由进程10733阻塞.

进程10733等待在事务 36964708上的ShareLock; 由进程6533阻塞.

建议：详细信息请查看服务器日志.

在位置：当更新关系"visit_crd"的元组(11314, 33)时

; SQL []; 错误: 检测到死锁

详细：进程6533等待在事务 36964707上的ShareLock; 由进程10733阻塞.

进程10733等待在事务 36964708上的ShareLock; 由进程6533阻塞.

建议：详细信息请查看服务器日志.

在位置：当更新关系"visit_crd"的元组(11314, 33)时; nested exception is org.postgresql.util.PSQLException: 错误: 检测到死锁

详细：进程6533等待在事务 36964707上的ShareLock; 由进程10733阻塞.

进程10733等待在事务 36964708上的ShareLock; 由进程6533阻塞.

建议：详细信息请查看服务器日志.

在位置：当更新关系"visit_crd"的元组(11314, 33)时

org.springframework.dao.DeadlockLoserDataAccessException:

问题分析：

PG 默认 autovacuum

1、autovacuum_vacuum_threshold:默认50

2、autovacuum_vacuum_scale_factor默认值为20%。

3、autovacuum_analyze_threshold:默认50。

4、autovacuum_analyze_scale_factor默认10%

第一次优化：

autovacuum_vacuum_scale_factor = 0.001

autovacuum_analyze_scale_factor = 0.001

结果导致如上错误信息：

第二次优化：

autovacuum_vacuum_scale_factor = 0.03

autovacuum_analyze_scale_factor = 0.03

问题得到解决

参考连接 ：
PostgreSQL 数据库检测到 ShareLock 死锁的处理方法 ：https://mp.weixin.qq.com/s/iGnRKIavnG0Q9TiGXVl1rg

寰宇001
关注
  • 1
    点赞
  • 踩
  • 8
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
pg库sharelock_数据库并发事务控制四：postgresql数据库的锁机制二：表锁 <转>
weixin_36213943的博客
01-14 1282
备注： 上图是pg 表级锁的各种冲突模式对照表，‘X’表示冲突项, 在章节四中会对其中典型的锁模式进行模似演示。四、实验在这一章节中将会对图一中比较典型的锁冲突进行模似演练，了解这些在Postgresql DBA的日常维护工作中很有帮助，同时也能减少人为故障的发生。4.1 Access exclusive 锁与Access share锁冲突在日常维护中，大家应该执行过’ALTERTABLE’更改...
pg库sharelock_PostgreSQL 行锁解读
weixin_35747785的博客
01-14 904
像其它数据库一样，PostgreSQL数据库不仅有表级别的锁，同时也有行级别的锁。行锁对于提高系统的并行度至关重要。那么PostgreSQL是如何实现行锁的呢？PostgreSQL获取行锁的大致分为以下两个阶段：1.获取buffer page级别的锁这是一个buffer content锁，不是单纯的buffer pin，当然buffer pin的次数肯定会增加。buffer content锁分为s...
PostgresSQL中的死锁和锁等待
weixin_44917075的博客
03-21 1224
postgres 关于死锁、等待事件讲解，并对deadlock_timeout lock_timeout statement_timeout参数解释和详细说明
PostgreSQL 数据库检测到 ShareLock 死锁的处理方法_shedlock postgresql on con
最新发布
2401_84562962的博客
05-16 742
在位置：当更新关系"visit_crd"的元组(11314, 33)时;详细：进程6533等待在事务 36964707上的ShareLock;由进程10733阻塞.详细：进程6533等待在事务 36964707上的ShareLock;详细：进程6533等待在事务 36964707上的ShareLock;详细：进程6533等待在事务 36964707上的ShareLock;进程10733等待在事务 36964708上的ShareLock;进程10733等待在事务 36964708上的ShareLock;
PostgreSQL LOCK（锁）；排它锁（Exclusive Locks）和共享锁（Share Locks）
m0_51063580的博客
12-02 3745
PostgreSQL LOCK（锁） 锁主要是为了保持数据库数据的一致性，可以阻止用户修改一行或整个表，一般用在并发较高的数据库中。 在多个用户访问数据库的时候若对并发操作不加控制就可能会读取和存储不正确的数据，破坏数据库的一致性。 数据库中有两种基本的锁：排它锁（Exclusive Locks）和共享锁（Share Locks）。 如果数据对象加上排它锁，则其他的事务不能对它读取和修改。 如果加上共享锁，则该数据库对象可以被其他事务读取，但不能修改。 LOCK 命令语法 LOCK 命令基础语
pg库sharelock_PostgreSql Lock锁
weixin_31842715的博客
01-14 762
上一篇里面提到了PG里面的事务控制级别，是因为上午的一个应用程序跑的过程中，死在DELETE语句部分，查了半天原来是锁的原因。下面把查的过程简单说明一下。首先应用挂起在DELETE语句部分，先查一下DELETE的表数据量，发现只有3K多行，这么小的表应该很快跑完才对。猜想应该是表被锁住导致操作不能进行下去。于是通过下面的语句查询是否该表上存在锁：SQL：select a.locktype,a.da...
pg库sharelock,postgresql死锁
weixin_35988038的博客
01-17 476
Sometimes postgresql raise error deadlocks.In trigger for table setted FOR UPDATE.Table comment:Log (INSERT sentences is cutted):2012-01-26 17:21:06 MSK ERROR: deadlock detected2012-01-26 17:21:06 MS...
PostgreSQL数据库事务出现未知状态的处理方法
09-09
在PostgreSQL数据库中，事务是确保数据一致性的重要机制。它们执行原子操作，即事务要么全部完成，要么完全不完成。然而，在某些情况下，客户端可能会遇到事务的“未知”（UNKNOWN）状态，这意味着客户端无法确定...
C#访问PostGreSQL数据库的方法
01-01
首先我想看看PostGreSQL的数据库以及我想要获取的数据形态是什么样子的，Linux和PostGreSQL这两个关键字我都不熟悉，搜了一下找到了一个可以连通PostGreSQL数据库的Windows客户端，叫pgAdmin，我装的是III版本，应该...
PostgreSQL数据库服务端监听设置及客户端连接方法教程
09-10
在IT领域，数据库管理是至关重要的，特别是在使用像PostgreSQL这样的强大开源数据库系统时。PostgreSQL允许用户存储、管理和检索复杂的数据，同时提供高度的安全性和稳定性。本教程将详细讲解如何设置PostgreSQL...
PostgreSQL中关闭死锁进程的方法
01-19
由于使用的PostgreSQL数据库，没有资料。只好进行谷歌。 最终在一个英文论坛中发现了解决方法。 如下： 1.检索出死锁进程的ID 代码如下: SELECT * FROM pg_stat_activity WHERE datname=’死锁的数据库ID ‘; 检索出来的字段中，【wating 】字段，数据为t的那条，就是死锁的进程。找到对应的【procpid 】列的值。 2.将进程杀掉 代码如下: SELECT pg_cancel_backend(‘死锁那条数据的procpid值 ‘); 结果：运行完后，再次更新这个表，sql顺利执行。   ps：查找了一下数据库自己的函数列表，发现p
pg库sharelock_PostgreSQL锁机制——表级锁
weixin_39683025的博客
01-14 441
PostgreSQL提供了多种锁模式用于控制对表中数据的并发访问。大多数PostgreSQL命令会自动要求恰 当的锁以保证被引用的表在命令的执行过程中 不会以一种不兼容的方式删除或修改.要检查在一个数据库服务器中当前未解除的锁列表，可以使用pg_locks系统视图下面我们来看看PostgreSQL中的表级别锁有哪些,他们分别使用在什么样的场景.不同模式的锁意味着它们有着不同的冲突模式,即在不同的事...
PostgreSQL技巧之ShareLock死锁处理
Eric.zhong
07-06 1408
1年多前上线一套基于PostgreSQL 9.6的主从数据库的业务系统。许多的业务表数据量已经超过千万级别，甚至接近亿级别。日常业务操作中，insert/update大约是十万左右，delete大约是三万左右，从而可能有一些表的统计信息不是十分准确。业务系统也存在一些特殊性(程序呆板)，部分业务SQL回访表等都是三四百万级别的。用户反馈业务系统缓慢，IT运维反馈业务系统磁盘IO高，CPU高…不升级硬件无法抗住。在系统会出现ShareLock错误，参考如下： 问题分析 PostgreSQL的autovacuu
死锁检测与解除
严同学在努力
01-05 1885
详讲死锁的检测和解除，听得懂的人也应该听懂了，没听懂的来我这里。保你听懂
AccessShareLock & pg cancel backend & terminate backend
喝醉酒的小白
05-26 1905
在PostgreSQL中，谨慎处理锁和会话是非常重要的，以确保数据的完整性和一致性。如果你在锁定方面遇到问题，或者需要对会话进行更精细的控制，建议仔细审查应用程序设计、事务管理和锁的使用，以确保高效和可靠的操作。需要注意的是，在大多数情况下，PostgreSQL会自动管理锁定，你不需要显式地获取锁，除非有特定的需求。它是一种读锁，允许多个事务同时从同一个对象进行读取，但它阻止并发事务获取冲突的锁，比如写锁或独占锁。通常情况下，应谨慎使用这些命令，确保只终止必要的后端进程，以避免对数据库的意外影响。
postgresql锁处理
sunbocong的博客
01-10 2408
postgresql锁处理 转自：pg中关于AccessShareLock和ExclusiveLock的问题中德哥的回答 要搞清楚锁，首先要搞清楚，PG是有很多可以加锁的对象的，每种对象下面，再去看它的锁冲突。 可以加锁的对象： LOCKTAG_RELATION, /* whole relation */ /* ID in...
postgresql等待锁排查——ShareLock & ExclusiveLock
归来仍少年
01-10 5544
故事的开始 ## 发现错误日志信息 LOG:process 12345 still waiting for ShareLock on transaction 541005530 after 1000.146 ms DETAIL:Process holding the lock: 12045. Wait queue: 12345. CONTEXT:while updating tuple (809991,21) in relation "table_name" STATEMENT:UPDATE/*...*/
发生死锁的情况以及解决的办法
m0_37235955的博客
04-01 212
死锁是指在一组进程中的各个进程均占有不会释放的资源，但因互相申请被其他进程所站用不会释放的资源而处于的一种永久等待状态。 死锁的四个必要条件： 互斥条件(Mutual exclusion)：资源不能被共享，只能由一个进程使用。请求与保持条件(Hold and wait)：已经得到资源的进程可以再次申请新的资源。非剥夺条件(No pre-emption)：已经分配的资源不能从相应的进程...
PostgreSQL数据库升级到10版本以上
06-03
PostgreSQL是一个非常流行的开源关系型数据库，如果你想升级到10版本以上，可以按照以下步骤进行： 1. 备份数据 在进行任何升级操作之前，务必先备份数据库数据。你可以使用pg_dump工具来备份数据，例如： ``` pg_dump mydatabase > mydatabase_backup.sql ``` 这会将mydatabase数据库备份到mydatabase_backup.sql文件中。请确保备份文件妥善保存。 2. 安装新版本 在升级之前，你需要先安装新版本的PostgreSQL数据库。你可以从官方网站下载最新版本的PostgreSQL。 在安装过程中，你需要选择升级已有的PostgreSQL数据库。如果你的系统中已经安装了旧版本的PostgreSQL，安装程序将会自动检测到它，并提供升级选项。 3. 升级数据库 安装完成后，你需要使用pg_upgrade工具来升级数据库。此工具会将旧版本的数据库升级到新版本。 具体升级步骤如下： - 停止PostgreSQL服务器 在升级之前，你需要停止PostgreSQL服务器。你可以使用以下命令停止服务器： ``` sudo systemctl stop postgresql ``` - 执行pg_upgrade 执行以下命令来运行pg_upgrade： ``` sudo pg_upgrade -b /usr/lib/postgresql/9.6/bin/ -B /usr/lib/postgresql/10/bin/ -d /var/lib/postgresql/9.6/main/ -D /var/lib/postgresql/10/main/ -o '-c config_file=/etc/postgresql/9.6/main/postgresql.conf' -O '-c config_file=/etc/postgresql/10/main/postgresql.conf' ``` 这个命令中包含了许多选项，其中： -b：指定旧版本的PostgreSQL二进制文件路径 -B：指定新版本的PostgreSQL二进制文件路径 -d：指定旧版本的数据目录路径 -D：指定新版本的数据目录路径 -o：用于指定旧版本的postgresql.conf配置文件路径 -O：用于指定新版本的postgresql.conf配置文件路径 - 重启PostgreSQL服务器 升级完成后，你需要启动新版本的PostgreSQL服务器。你可以使用以下命令启动服务器： ``` sudo systemctl start postgresql ``` 4. 检查升级结果 升级完成后，你需要检查数据库是否正常运行。你可以使用以下命令来连接到数据库： ``` psql mydatabase ``` 然后输入数据库密码即可。如果一切正常，你应该能够看到连接成功的提示信息。 在连接到数据库后，你可以执行一些SQL语句来检查数据库是否正常。例如： ``` SELECT version(); ``` 这个命令应该返回新版本的PostgreSQL数据库信息。如果一切正常，恭喜你已成功将PostgreSQL数据库升级到10版本以上。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值