连接postgres特别消耗cpu资源而引发的PostgreSQL性能优化考虑

最新推荐文章于 2024-09-10 23:59:32 发布
最新推荐文章于 2024-09-10 23:59:32 发布
阅读量1k 收藏 4
点赞数
分类专栏： postgres 文章标签： postgres

连接postgres特别消耗cpu资源而引发的PostgreSQL性能优化考虑
由于是开发阶段，所以并没有配置postgres的参数，都是使用安装时的默认配置，
以前运行也不见得有什么不正常，可是前几天我的cpu资源占用突然升高.
查看进程，发现有一个postgres的进程占用CPU都是80%以上，而且居高不下；

刚开始以为是配置上需要修改，但事实上，默认配置基本上是很优化的，而且是开发阶段，数据量也并不大。
后来通过分析，得出结论，解决问题应该从以下几个方面来逐一考虑：

1，SQL查询方面
检查数据检索的索引是否建立，凡是需要查找的字段尽量建立索引，甚至是联合索引；
创建索引，包括表达式和部分索引；
使用COPY语句代替多个Insert语句；
将多个SQL语句组成一个事务以减少提交事务的开销；
从一个索引中提取多条记录时使用CLUSTER；
从一个查询结果中取出部分记录时使用LIMIT；
使用预编译式查询（Prepared Query)；
使用ANALYZE以保持精确的优化统计；
定期使用 VACUUM 或 pg_autovacuum
进行大量数据更改时先删除索引（然后重建索引）
2，程序经验方面
检查程序，是否使用了连接池，如果没有使用，尽快使用吧；
继续检查程序，连接使用后，是否交还给了连接池；
3，服务器参数配置
配置文件postgres.conf中的很多设置都会影响性能，
shared_buffers：这是最重要的参数，postgresql通过shared_buffers和内核/磁盘打交道。
因此应该尽量大，让更多的数据缓存在shared_buffers中，通常设置为实际RAM的10％是合理的，比如50000(400M)
work_mem：在pgsql 8.0之前叫做sort_mem。postgresql在执行排序操作时，
会根据work_mem的大小决定是否将一个大的结果集拆分为几个小的和work_mem查不多大小的临时文件。
显然拆分的结果是降低了排序的速度。因此增加work_mem有助于提高排序的速度。通常设置为实际RAM的2%-4%，根据需要排序结果集的大小而定，比如81920(80M)
effective_cache_size：是postgresql能够使用的最大缓存，
这个数字对于独立的pgsql服务器而言应该足够大，比如4G的内存，可以设置为3.5G(437500)
maintence_work_mem：这里定义的内存只是在CREATE INDEX, VACUUM等时用到，因此用到的频率不高，但是往往这些指令消耗比较多的资源，
因此应该尽快让这些指令快速执行完毕：给maintence_work_mem大的内存，比如512M(524288)
max_connections：通常，max_connections的目的是防止max_connections * work_mem超出了实际内存大小。
比如，如果将work_mem设置为实际内存的2%大小，则在极端情况下，如果有50个查询都有排序要求，而且都使用2％的内存，则会导致swap的产生，系统性能就会大大降低。
当然，如果有4G的内存，同时出现50个如此大的查询的几率应该是很小的。不过，要清楚max_connections和work_mem的关系。
有关参数的解释可见： http://www.varlena.com/varlena/GeneralBits/Tidbits/annotated_conf_e.html 和 http://www.varlena.com/varlena/GeneralBits/Tidbits/perf.html。
4，硬件的选择
由于计算机硬件大多数是兼容的，人们总是倾向于相信所有计算机硬件质量也是相同的。
事实上不是， ECC RAM（带奇偶校验的内存），SCSI （硬盘）和优质的主板比一些便宜货要更加可靠且具有更好的性能。
PostgreSQL几乎可以运行在任何硬件上，但如果可靠性和性能对你的系统很重要，你就需要全面的研究一下你的硬件配置了。
计算机硬件对性能的影响可浏览 http://candle.pha.pa.us/main/writings/pgsql/hw_performance/index.html 和 http://www.powerpostgresql.com/PerfList/。
5，为什么在试图连接时收到“Sorry, too many clients”消息？
这表示你已达到缺省100个并发后台进程数的限制，
你需要通过修改postgresql.conf文件中的max_connections值来 增加postmaster的后台并发处理数，修改后需重新启动postmaster。

欢迎使用Markdown编辑器

你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章，了解一下Markdown的基本语法知识。

新的改变

我们对Markdown编辑器进行了一些功能拓展与语法支持，除了标准的Markdown编辑器功能，我们增加了如下几点新功能，帮助你用它写博客：

  1. 全新的界面设计 ，将会带来全新的写作体验；
  2. 在创作中心设置你喜爱的代码高亮样式，Markdown 将代码片显示选择的高亮样式 进行展示；
  3. 增加了 图片拖拽 功能，你可以将本地的图片直接拖拽到编辑区域直接展示；
  4. 全新的 KaTeX数学公式 语法；
  5. 增加了支持甘特图的mermaid语法1 功能；
  6. 增加了 多屏幕编辑 Markdown文章功能；
  7. 增加了 焦点写作模式、预览模式、简洁写作模式、左右区域同步滚轮设置 等功能，功能按钮位于编辑区域与预览区域中间；
  8. 增加了 检查列表 功能。

功能快捷键

撤销：Ctrl/Command + Z
重做：Ctrl/Command + Y
加粗：Ctrl/Command + B
斜体：Ctrl/Command + I
标题：Ctrl/Command + Shift + H
无序列表：Ctrl/Command + Shift + U
有序列表：Ctrl/Command + Shift + O
检查列表：Ctrl/Command + Shift + C
插入代码：Ctrl/Command + Shift + K
插入链接：Ctrl/Command + Shift + L
插入图片：Ctrl/Command + Shift + G

合理的创建标题，有助于目录的生成

直接输入1次#，并按下space后，将生成1级标题。
输入2次#，并按下space后，将生成2级标题。
以此类推，我们支持6级标题。有助于使用TOC语法后生成一个完美的目录。

如何改变文本的样式

强调文本 强调文本

加粗文本 加粗文本

标记文本

删除文本

引用文本

H2O is是液体。

210 运算结果是 1024.

插入链接与图片

链接: link.

图片: Alt

带尺寸的图片: Alt

居中的图片: Alt

居中并且带尺寸的图片: Alt

当然，我们为了让用户更加便捷，我们增加了图片拖拽功能。

如何插入一段漂亮的代码片

去博客设置页面，选择一款你喜欢的代码片高亮样式，下面展示同样高亮的 代码片.

// An highlighted block
var foo = 'bar';

生成一个适合你的列表

  • 项目
    • 项目
      • 项目
  1. 项目1
  2. 项目2
  3. 项目3
  • 计划任务
  • 完成任务

创建一个表格

一个简单的表格是这么创建的：

项目Value
电脑$1600
手机$12
导管$1

设定内容居中、居左、居右

使用:---------:居中
使用:----------居左
使用----------:居右

第一列第二列第三列
第一列文本居中第二列文本居右第三列文本居左

SmartyPants

SmartyPants将ASCII标点字符转换为“智能”印刷标点HTML实体。例如：

TYPEASCIIHTML
Single backticks'Isn't this fun?'‘Isn’t this fun?’
Quotes"Isn't this fun?"“Isn’t this fun?”
Dashes-- is en-dash, --- is em-dash– is en-dash, — is em-dash

创建一个自定义列表

Markdown
Text-to- HTML conversion tool
Authors
John
Luke

如何创建一个注脚

一个具有注脚的文本。2

注释也是必不可少的

Markdown将文本转换为 HTML。

KaTeX数学公式

您可以使用渲染LaTeX数学表达式 KaTeX:

Gamma公式展示 Γ ( n ) = ( n − 1 ) ! ∀ n ∈ N \Gamma(n) = (n-1)!\quad\forall n\in\mathbb N Γ(n)=(n−1)!∀n∈N 是通过欧拉积分

Γ ( z ) = ∫ 0 ∞ t z − 1 e − t d t   . \Gamma(z) = \int_0^\infty t^{z-1}e^{-t}dt\,. Γ(z)=∫0∞​tz−1e−tdt.

你可以找到更多关于的信息 LaTeX 数学表达式here.

新的甘特图功能，丰富你的文章

Mon 06 Mon 13 Mon 20 已完成 进行中 计划一 计划二 现有任务 Adding GANTT diagram functionality to mermaid
  • 关于 甘特图 语法，参考 这儿,

UML 图表

可以使用UML图表进行渲染。 Mermaid. 例如下面产生的一个序列图：:

张三 李四 王五 你好！李四, 最近怎么样? 你最近怎么样，王五？ 我很好，谢谢! 我很好，谢谢! 李四想了很长时间, 文字太长了 不适合放在一行. 打量着王五... 很好... 王五, 你怎么样? 张三 李四 王五

这将产生一个流程图。:

链接
长方形
圆
圆角长方形
菱形
  • 关于 Mermaid 语法，参考 这儿,

FLowchart流程图

我们依旧会支持flowchart的流程图：

Created with Raphaël 2.2.0 开始 我的操作 确认？ 结束 yes no
  • 关于 Flowchart流程图 语法，参考 这儿.

导出与导入

导出

如果你想尝试使用此编辑器, 你可以在此篇文章任意编辑。当你完成了一篇文章的写作, 在上方工具栏找到 文章导出 ，生成一个.md文件或者.html文件进行本地保存。

导入

如果你想加载一篇你写过的.md文件，在上方工具栏可以选择导入功能进行对应扩展名的文件导入，
继续你的创作。

  1. mermaid语法说明 ↩︎

  2. 注脚的解释 ↩︎

lixiaodehui
关注
专栏目录
postgresql进程cpu过高分析和解决方案
日常博客
10-22 5097
一：通过pg_stat_activity视图查询慢查询或高处理时长的进程 select pid, datname, usename, client_addr, application_name, state, backend_start, xact_start, xact_stay, query_start, query_stay, replace(q...
查詢高消耗CPU的pid的SQL
04-29
查詢高消耗CPU的pid的SQL,SELECT /*+ ORDERED */ sql_text FROM v$sqltext a WHERE (a.hash_value, a.address) IN ( SELECT DECODE (sql_hash_value, 0, prev_hash_value, sql_hash_value ), DECODE (sql_hash_value, 0, prev_sql_addr, sql_address) FROM v$session b WHERE b.paddr = (SELECT addr FROM v$process c WHERE c.spid = '&pid')) ORDER BY piece ASC
PostgreSQL 查询涉及分区表过多导致的性能问题 - 性能诊断与优化(大量BIND, spin lock, SLEEP进程)...
weixin_34416754的博客
01-27 1132
标签 PostgreSQL , 分区表 , bind , spin lock , 性能分析 , sleep 进程 , CPU空转 , cache 背景 实际上我写过很多文档，关于分区表的优化： 《PostgreSQL 商用版本EPAS(阿里云ppas) - 分区表性能优化 (堪比pg_pathman)》 《PostgreSQL 传统 hash 分区方...
PostgreSQL 性能优化全方位指南：深度提升数据库效率
最新发布
Asuna666w的博客
09-10 2523
在现代互联网应用中，数据库性能优化是系统优化中至关重要的一环，尤其对于数据密集型和高并发的应用而言，PostgreSQL（以下简称PG）凭借其丰富的特性和强大的功能，成为很多企业的首选。然而，随着数据规模的扩展和查询复杂度的提升，PostgreSQL的性能问题逐渐显现。PostgreSQL的查询优化器会生成查询执行计划，选择最优的执行路径，但这依赖于数据库的统计信息、表结构和SQL的写法。然而，在高并发查询的场景中，适当的反规范化（如将一些查询频繁的字段冗余存储）可以减少JOIN操作，提高查询效率。
linux 朝一个磁盘写入,linux – Postmaster使用过多的CPU和磁盘写入
weixin_35723036的博客
05-11 198
使用PostgreSQL 9.1.2我看到过多的CPU使用率和来自postmaster任务的大量磁盘写入.即使我的应用程序几乎什么都没做(每MINUTE插入10次),也会发生这种情况.然而,有合理数量的连接打开.我一直试图确定我的应用程序中是什么导致了这一点.我很喜欢postgresql,到目前为止还没到任何地方.我在配置文件中打开了一些日志记录选项,并查看了pg_stat_activity表中的...
PostgreSQL CPU 100%问题排查
Tech_Sharing的博客
09-18 6702
前 言 一般来说, CPU 问题是由 低效SQL引发， 而造成低效SQL 的原因有： SQL 写法不够优化 表的数据量发生了变化， 但统计信息未及时更新 数据库本身的bug 分析解决 为了进一步调查这个问题， 请参考如下建议： 请参考文档 【1】其中提到的排查高 CPU 利用率的方法。比如： 本机 PostgreSQL 视图和目录（例如 pg_stat_statements、pg_stat_activity 和 pg_stat_user_tables）查看数据库级详细信息。有关更多信息，请参
Postgrsql专栏（7）postgresql.conf资源消耗相关配置
夏季版
06-01 999
内存相关配置 1、shared_buffers 设置数据库服务器用于共享内存缓冲区的内存量。默认值通常为128 MB（128 MB），但如果您的内核设置不支持它（在initdb期间确定），则可能会更少。该设置必须至少为128千字节。 （BLCKSZ的非默认值会改变最小值。）但是，通常需要高于最小值的设置才能获得良好的性能。该参数只能在服务器启动时设置。 如果您拥有1GB或更多内存的专用数据...
解决PostgreSQL服务启动后占用100% CPU卡死的问题
09-11
首先，我们要理解PostgreSQL为何会消耗大量CPU资源。这通常与以下因素有关： 1. **查询优化**：执行高计算密集型或无索引的复杂查询可能导致CPU使用率飙升。检查`pg_stat_activity`视图可以找出正在运行的长时间...
PostgreSQL性能调优
12-30
对于PostgreSQL而言，CPU的速度与其响应速度成正比。在“Aischool单校方案”中，采用双物理CPU，每颗CPU包含4个核心的设计，以确保数据库处理能力。 #### 三、数据库参数调整 除了硬件配置外，合理设置PostgreSQL...
postgres-marula:PostgreSQL动态配置工具
03-18
postgres-marula是一款专为PostgreSQL数据库系统设计的动态配置工具，旨在帮助管理员优化数据库性能，实现更高效的管理。PostgreSQL是一种强大的开源关系型数据库管理系统，以其高度的可扩展性和可靠性而备受赞誉。...
PostgreSQL CPU占用高分析，查询IO消耗最高的SQL，查询耗时最长的SQL，查询被锁住的session会话
秋̶᭄ꦿ攻城狮࿆ྂ
12-31 3201
查看当前活跃的DB session 正在运行的SQL语句（运行时间超过10秒） SELECT now() - query_start as "runtime", usename,application_name, client_hostname, datname, state, query FROM pg_stat_activity WHERE now() - query_start > '10 seconds'::interval and state!='id
Postgresql杂谈 24——针对Postgresql的文件系统调优
Hyman的博客
09-19 1253
自数据库诞生之后，数据库优化就是一个各家公司绕不开的课题，也是面试造飞机时逃不开的知识点。因为当一个系统发展到了一定的规模，瓶颈往往都在数据库上，也因此催生了各种数据库的优化技术。某里的子柳就在《淘宝技术这十年》中提到，最初淘宝的系统架构中数据库部分就是1主2备的mysql，顶住了日均30W个PV（Page View）。再以后随着用户规模越来越大，使用连接池+单个oracle，然后就是在单个oracle基础之上的硬件的向上拓展，机器从服务器到小型机，存储从普通硬盘到SAN，再到NAS，总而言之...
记一次postgres导致cpu100%
欢迎来到别往的博客
09-02 842
周末想打两把训练赛，没想到朋友发来一个截图我：嗯？？wtf于是我上服务器看了一下日志，诶我超，还真的。
PostgreSQL性能调优：设置适当的系统参数
零零喵的博客
02-19 1843
PostgreSQL有很多可以设置的系统参数。其中对性能影响较大的几个参数如下。 最大连接数 max_connections：最大连接数。默认是 100个。在大系 统中 100个是比 较少的，一般可能都比 100多，但是如果 过大的话，系统性能反而不高。如果访问量确实很大的话，可以用 pgpool 连接池 来管理。 还有就是应用中一些不是经常变化的 master 类似 数据建 议放到内存，以减少大...
PostgreSQL优化配置
GNAIXGNAHZ的博客
07-09 975
PostgreSQL优化配置
postgresql 参数配置优化详介绍
热门推荐
Patrick
09-27 1万+
一、Linux内核参数设置：/etc/sysctl.conf     http://www.pgsqldb.org/pgsqldoc-8.1c/kernel-resources.html#SYSVIPC     缺省设置只适合小安装（缺省最大共享内存是 32 MB）。
PostgreSQL运行参数介绍 & `max_connections` 和 CPU 核数
喝醉酒的小白
05-28 3359
指定数据库实例的数据目录路径，即数据库存储数据文件的位置。：指定 PostgreSQL 的配置文件路径，该文件包含了数据库的各种配置设置。：指定数据库服务器监听的网络地址，设置为 0.0.0.0 表示监听所有可用的网络接口。：指定数据库服务器监听的端口号，客户端连接时需要使用该端口进行通信。：指定数据库集群的名称，用于唯一标识该数据库集群。：指定 WAL（Write-Ahead Logging）的级别，设置为 logical 表示启用逻辑复制。
PostgreSQL性能优化课程：降低成本与提升速度
首先，PostgreSQL以其全面的特性而闻名，它是基于POSTGRES 4.2发展而来，拥有SQL标准的支持以及现代功能，如复杂查询、外键、触发器、视图、事务完整性等。它允许用户通过扩展数据类型、函数、操作符等来定制化...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值