postgresql数据库优化注意点

PostgreSQL优缺点

PostgreSQL 是最先进的开放源码的数据库系统， 它提供了多版本并行控制，支持几乎所有 SQL 构件(包括子查询，事务和用户定 义类型和函数)， 并且可以获得非常广阔范围的(开发)语言绑定 (包括 C，C++，Java，perl，tcl，和 python)。具体优点特性如下：

1. PostgreSQL 的稳定性极强， Innodb 等引擎在崩溃、断电之类的灾难场景下抗打击能力有了长足进步；
2. 性能高速度快。任何系统都有它的性能极限，在高并发读写，负载逼近极限下，PG的性能指标仍可以维持双曲线甚至对数曲线，到顶峰之后不再下降；
3. PG 多年来在 GIS 领域处于优势地位，因为它有丰富的几何类型，实际上不止几何类型，PG有大量字典、数组、bitmap 等数据类型；
4. PG 的“无锁定”特性非常突出，甚至包括vacuum这样的整理数据空间的操作，这个和PGSQL的MVCC实现有关系。PostgreSQL是唯一支持事务、子查询、多版本并行控制系统、数据完整性检查等特性的唯一的一种自由软件的数据库管理系统；
5. PG对数据量大的文本以及SQL处理较快,可以使用函数和条件索引，这使得PG数据库的调优非常灵活。
   具体缺点:
6. 关于mvcc 的多版本控制。会生成很多个版本。定期要清理pg的分布式集群。bug很多实用需要谨慎;
7. pg数据库的并发性问题：pg采用抢占资源的方式，如果有一个大的SQL在跑，可能就会阻塞其他的进程，不管其他的进程是小SQL还是大SQL。好在pg有个优先级设置，还能变通一下;
8. pg的数据库扩容问题：扩容花费的时间很长; pg的segment和mirror同步问题：某个实例有问题，如果是在线恢复，特别慢。
9. 如果把所有的应用停掉则速度还算可以;

SQL语句执行优先级

SQL执行计划大家基本上在做sql优化都会去看，sql优化我们如何做到胸有成竹。我们来分析SQL的执行顺序。

1. FROM < left_table>
2. < join_type> JOIN < right_table>
3. ON < join_condition>
4. WHERE < where_condition>
5. GROUP BY < group_by_list>
6. WITH {cube | rollup}
7. HAVING < having_condition>
8. SELECT
9. DISTINCT
10. < top_specification> < select_list>
11. ORDER BY < order_by_list>
    标准的SQL 的解析顺序为:
12. FROM 子句 组装来自不同数据源的数据
13. WHERE 子句 基于指定的条件对记录进行筛选
14. GROUP BY 子句 将数据划分为多个分组
15. 使用聚合函数进行计算
16. 使用HAVING子句筛选分组
17. 计算所有的表达式
18. 使用ORDER BY对结果集进行排序

具体执行顺序原理

19. FROM：对FROM子句中前两个表执行笛卡尔积生成虚拟表vt1
20. ON:对vt1表应用ON筛选器只有满足< join_condition> 为真的行才被插入vt2
21. OUTER(join)：如果指定了 OUTER JOIN保留表(preserved table)中未找到的行将行作为外部行添加到vt2 生成t3如果from包含两个以上表则对上一个联结生成的结果表和下一个表重复执行步骤和步骤直接结束
22. WHERE：对vt3应用 WHERE 筛选器只有使< where_condition> 为true的行才被插入vt4
23. GROUP BY：按GROUP BY子句中的列列表对vt4中的行分组生成vt5
24. CUBE|ROLLUP：把超组(supergroups)插入vt6 生成vt6
25. HAVING：对vt6应用HAVING筛选器只有使< having_condition> 为true的组才插入vt7
26. SELECT：处理select列表产生vt8
27. 9.DISTINCT：将重复的行从vt8中去除产生vt9
28. ORDER BY：将vt9的行按order by子句中的列列表排序生成一个游标vc10
29. TOP：从vc10的开始处选择指定数量或比例的行生成vt11 并返回调用者
    如果我们我们了解了sqlserver执行顺序，那么我们就接下来进一步养成日常sql好习惯，也就是在实现功能同时有考虑性能的思想，数据库是能进行集合运算的工具，我们应该尽量的利用这个工具，所谓集合运算实际就是批量运算，就是尽量减少在客户端进行大数据量的循环操作，而用SQL语句或者存储过程代替。

只返回需要的数据

返回数据到客户端至少需要数据库提取数据、网络传输数据、客户端接收数据以及客户端处理数据等环节，如果返回不需要的数据，就会增加服务器、网络和客户端的无效劳动，其害处是显而易见的，避免这类事件需要注意：
30. 横向来看

• 不要写SELECT *的语句，而是选择你需要的字段。
• 当在SQL语句中连接多个表时,
  请使用表的别名并把别名前缀于每个Column上.这样一来,就可以减少解析的时间并减少那些由Column歧义引起的语法错误。

33. 纵向来看

• 合理写WHERE子句，不要写没有WHERE的SQL语句。
• SELECT TOP N * --没有WHERE条件的用此替代

尽量少做重复的工作

• 控制同一语句的多次执行，特别是一些基础数据的多次执行是很多程序员很少注意的。
• 减少多次的数据转换，也许需要数据转换是设计的问题，但是减少次数是程序员可以做到的。
• 杜绝不必要的子查询和连接表，子查询在执行计划一般解释成外连接，多余的连接表带来额外的开销。
• 合并对同一表同一条件的多次UPDATE，
• UPDATE操作不要拆成DELETE操作+INSERT操作的形式，虽然功能相同，但是性能差别是很大的

注意临时表和表变量的用法

在复杂系统中，临时表和表变量很难避免，关于临时表和表变量的用法，需要注意：

• 如果语句很复杂，连接太多，可以考虑用临时表和表变量分步完成。
• 如果需要多次用到一个大表的同一部分数据，考虑用临时表和表变量暂存这部分数据。
• 如果需要综合多个表的数据，形成一个结果，可以考虑用临时表和表变量分步汇总这多个表的数据。
• 其他情况下，应该控制临时表和表变量的使用。
• 关于临时表和表变量的选择，很多说法是表变量在内存，速度快，应该首选表变量，但是在实际使用中发现，
  • 主要考虑需要放在临时表的数据量，在数据量较多的情况下，临时表的速度反而更快。
• 执行时间段与预计执行时间(多长)；
• 关于临时表产生使用SELECT INTO和CREATE TABLE + INSERT INTO的选择，一般情况下，SELECT INTO会比CREATE TABLE + INSERT INTO的方法快很多，但是SELECT INTO会锁定TEMPDB的系统表SYSOBJECTS、SYSINDEXES、SYSCOLUMNS，在多用户并发环境下，容易阻塞其他进程 所以我的建议是，在并发系统中，尽量使用CREATE TABLE + INSERTINTO，而大数据量的单个语句使用中，使用SELECT INTO。

子查询的用法

• 子查询是一个 SELECT 查询，它嵌套在 SELECT、INSERT、UPDATE、DELETE语句或其它子查询中。任何允许使用表达式的地方都可以使用子查询，子查询可以使我们的编程灵活多样，可以用来实现一些特殊的功能。
• 但是在性能上，往往一个不合适的子查询用法会形成一个性能瓶颈。如果子查询的条件中使用了其外层的表的字段，这种子查询就叫作相关子查询。相关子查询可以用IN、NOT IN、EXISTS、NOT EXISTS引入。关于相关子查询，应该注意：A、NOT IN、NOT EXISTS的相关子查询可以改用LEFT JOIN代替写法。比如：
• 如果保证子查询没有重复 ，IN、EXISTS的相关子查询可以用INNER JOIN 代替。IN的相关子查询用EXISTS代替。
• 不要用COUNT(*)的子查询判断是否存在记录，最好用LEFT JOIN或者EXISTS，比如有人写这样的语句：

尽量使用索引

建立索引后，并不是每个查询都会使用索引，在使用索引的情况下，索引的使用效率也会有很大的差别。只要我们在查询语句中没有强制指定索引，索引的选择和使用方法是SQLSERVER的优化器自动作的选择，而它选择的根据是查询语句的条件以及相关表的统计信息，这就要求我们在写SQL语句的时候尽量使得优化器可以使用索引。为了使得优化器能高效使用索引，写语句的时候应该注意：
A、不要对索引字段进行运算，而要想办法做变换
B、不要对索引字段进行格式转换
C、不要对索引字段使用函数
D、不要对索引字段进行多字段连接

多表连接的连接条件对索引的选择有着重要的意义，所以我们在写连接条件条件的时候需要特别注意。

A、多表连接的时候，连接条件必须写全，宁可重复，不要缺漏。
B、连接条件尽量使用聚集索引
C、注意ON、WHERE和HAVING部分条件的区别 ON是最先执行， WHERE次之，HAVING最后，因为ON是先把不符合条件的记录过滤后才进行统计，它就可以减少中间运算要处理的数据，按理说应该速度是最快的，WHERE也应该比 HAVING快点的，因为它过滤数据后才进行SUM，在两个表联接时才用ON的，所以在一个表的时候，就剩下WHERE跟HAVING比较了

考虑联接优先顺序：

(1)INNER JOIN
(2)LEFT JOIN (注：RIGHT JOIN 用 LEFT JOIN 替代)
(3)CROSS JOIN

其它注意和了解的地方有：

A、在IN后面值的列表中，将出现最频繁的值放在最前面，出现得最少的放在最后面，减少判断的次数

B、注意UNION和UNION ALL的区别。–允许重复数据用UNION ALL好

C、注意使用DISTINCT，在没有必要时不要用

D、TRUNCATE TABLE 与 DELETE 区别

E、减少访问数据库的次数还有就是我们写存储过程，如果比较长的话，最后用标记符标开，因为这样可读性很好，即使语句写的不怎么样但是语句工整，C# 有regionsql我比较喜欢用的就是

–startof 查询在职人数
sql语句
–end of

正式机器上我们一般不能随便调试程序，但是很多时候程序在我们本机上没问题，但是进正式系统就有问题，但是我们又不能随便在正式机器上操作，那么怎么办呢？我们可以用回滚来调试我们的存储过程或者是sql语句，从而排错。

BEGIN TRAN
UPDATE a SET 字段=''
ROLLBACK       

作业存储过程我一般会加上下面这段，这样检查错误可以放在存储过程，如果执行错误回滚操作，但是如果程序里面已经有了事务回滚，那么存储过程就不要写事务了，这样会导致事务回滚嵌套降低执行效率，但是我们很多时候可以把检查放在存储过程里，这样有利于我们解读这个存储过程，和排错。

BEGIN TRANSACTION  
--事务回滚开始
--检查报错
IF ( @@ERROR > 0 )    BEGIN      
--回滚操作ROLLBACK TRANSACTION      RAISERROR('删除工作报告错误', 16, 3)        RETURN        END  
--结束事务COMMIT TRANSACTION

转载地址：https://www.rstk.cn/news/229208.html?action=onClick