常见的数据库性能问题及优化

最新推荐文章于 2024-07-28 10:48:44 发布

Holidaylovesam

最新推荐文章于 2024-07-28 10:48:44 发布

阅读量1.6k

点赞数

分类专栏：测试分享文章标签：移动互联网

本文链接：https://blog.csdn.net/alice_tl/article/details/78907065

版权

测试分享专栏收录该内容

70 篇文章 22 订阅

订阅专栏

常见的数据库性能问题

过量的数据库调用

常见的性能瓶颈来自过量的数据库调用，比如SQL查询的Execute（）或更新Update（），还有应用程序与数据库的交互，比如ResultSet操作，常见的问题是指定了过于精细的查询条件，然后使用ResultSet.Next（）详细搜索数据，导致反复的回调数据库。

数据库资源泄露

常出现的资源泄露，可能是因为没有及时close（）连接，或者没有成功close()。

数据库配置问题

错误的日志文件大小、归档问题、过多的检查点或参数未最佳设置现象，都会导致性能问题。

数据库连接池不合理也会导致性能问题，连接池过小会导致连接池满后，新的客户无法连接上系统，在日志中出现错误信息。但连接池过大，也会造成资源无效损耗，出现新的性能问题。

SQL语句或锁定属性问题

SQL语句及其索引或锁定属性不合理，可能引发DISKIO过忙（磁盘读/写数据）或者CPU过忙（在内存中索引排序），造成执行时间过长，阻塞线程的执行，最终引发系统挂起或者执行超时引发系统挂起。

常见的数据库性能优化方案

常见的数据库性能优化方案通常有：

减少交互次数（减少网络传输）

从数据库中批量一次性取得所要求的数据，减少反复回调次数。

减少数据访问（减少磁盘访问）

增加必要的缓存，减少对数据库数据的不必要实时读写

返回更少数据（减少网络传输或磁盘访问）
优化查询SQL

可以通过建立合适的索引，SQL语句结构调整，大SQL语句的拆分等方式优化查询语句的性能。

优化数据库的配置

合理配置连接池。

经验法则1，设置最初池大小=最大池大小。

经验法则2，数据库连接池数=线程池数*每个线程需要连接数据库的平均数*1.1（1.1的含义是增加10%的峰值期负载），通常每个线程需要连接数据库的平均数是1，即当线程数为120时，数据库连接池数就是132.

减少服务器CPU开销（减少CPU及内存开销）

可以通过WebLogic自带工具、Jprofiler工具或自编工具检测到数据库连接池资源泄露，平时也要多关注数据库监控看是否有异常表现。

利用更多资源（增加资源）

由于每一层优化法则都是解决其对应硬件的性能问题，所以带来的性能提升比例也不一样。SQL的性能优化应该按由上到下的规则来诊断问题和优化，而不能第一时间去考虑增加资源。
以下是网络上分享的每个优化法则层级对应优化效果及成本经验参考：

优化法则	性能提升效果	优化成本
减少数据访问	1~1000	低
返回更少数据	1~100	低
减少交互次数	1~20	低

数据库的配置说明

MySQL的配置文件参数详解：

[client]
port = 3306
socket = /tmp/mysql.sock

[mysqld]
port = 3306
socket = /tmp/mysql.sock

basedir = /usr/local/mysql
datadir = /data/mysql
pid-file = /data/mysql/mysql.pid
user = mysql
bind-address = 0.0.0.0
server-id = 1 #表示是本机的序号为1,一般代表master

skip-name-resolve
# 禁止MySQL对外部连接进行DNS解析。如果开启该选项，则所有远程主机连接授权都要使用IP地址方式，否则MySQL将无法正常处理连接请求

back_log = 600
# MySQL允许有的连接数量。当主要MySQL线程短时间内有非常多的连接请求，则立即检查连接并且启动一个新线程。back_log值指在MySQL暂时停止回答新请求之前，短时间内多少个请求可以被存在堆栈中。
# 如果MySQL的连接数据达到max_connections时，新来的请求将会被存在堆栈中，以等待某一连接释放资源，该堆栈的数量即back_log，如果等待连接的数量超过back_log，将不被授予连接资源。
# 操作系统在这个队列大小上有自己的限制（可以检查OS文档找出这个变量的最大值），设定back_log高于操作系统的限制是无效的。

max_connections = 1000
# MySQL的最大连接数。MySQL会为每个连接提供连接缓冲区，连接数越多，就会开销越多的内存，所以要适当调整该值，不能盲目提高设值。可以过'conn%'通配符查看当前状态的连接数量。

max_connect_errors = 6000
# 同一主机，如果有超出该参数值个数的中断错误连接，则该主机将被禁止连接。如需对该主机进行解禁，执行：FLUSH HOST。

open_files_limit = 65535
# MySQL打开的文件描述符限制。默认最小1024，当open_files_limit没有被配置的时候，比较max_connections*5和ulimit -n的值，取最大值。当open_file_limit被配置的时候，比较open_files_limit和max_connections*5的值，取最大值。

table_open_cache = 128
# MySQL每打开一个表，都会读入一些数据到table_open_cache缓存中，当MySQL在这个缓存中找不到相应信息时，才会去磁盘上读取。默认值64

max_allowed_packet = 4M
# 接受的数据包大小；

binlog_cache_size = 1M
# 一个事务，在没有提交的时候，产生的日志，记录到Cache中；等到事务提交需要提交的时候，则把日志持久化到磁盘。默认binlog_cache_size大小32K

max_heap_table_size = 8M
# 定义了用户可以创建的内存表(memory table)的大小。这个值用来计算内存表的最大行数值。这个变量支持动态改变

tmp_table_size = 16M
# MySQL的heap（堆积）表缓冲大小。所有联合在一个DML指令内完成，并且大多数联合甚至可以不用临时表即可以完成。

read_buffer_size = 2M
# MySQL读入缓冲区大小。对表进行顺序扫描的请求将分配一个读入缓冲区，MySQL会为它分配一段内存缓冲区。read_buffer_size变量控制这一缓冲区的大小。
# 如果对表的顺序扫描请求非常频繁，并且你认为频繁扫描进行得太慢，可以通过增加该变量值以及内存缓冲区大小提高其性能

read_rnd_buffer_size = 8M
# MySQL的随机读缓冲区大小。当按任意顺序读取行时(例如，按照排序顺序)，将分配一个随机读缓存区。进行排序查询时，
# MySQL会首先扫描一遍该缓冲，以避免磁盘搜索，提高查询速度，如果需要排序大量数据，可适当调高该值。但MySQL会为每个客户连接发放该缓冲空间，所以应尽量适当设置该值，以避免内存开销过大

sort_buffer_size = 8M
# MySQL执行排序使用的缓冲大小。如果想要增加ORDER BY的速度，首先看是否可以让MySQL使用索引而不是额外的排序阶段。
# 如果不能，可以尝试增加sort_buffer_size变量的大小

join_buffer_size = 8M
# 联合查询操作所能使用的缓冲区大小，和sort_buffer_size一样，该参数对应的分配内存也是每连接独享

thread_cache_size = 8
# 可以重新利用保存在缓存中线程的数量，当断开连接时如果缓存中还有空间，那么客户端的线程将被放到缓存中，如果线程重新被请求，那么请求将从缓存中读取,如果缓存中是空的或者是新的请求，那么这个线程将被重新创建,如果有很多新的线程，增加这个值可以改善系统性能.默认8。根据物理内存设置规则如下：
# 1G  —> 8；2G  —> 16；3G  —> 32；大于3G  —> 64

query_cache_size = 8M
#MySQL的查询缓冲大小（从4.0.1开始，MySQL提供了查询缓冲机制）使用查询缓冲，MySQL将SELECT语句和查询结果存放在缓冲区中，
# 今后对于同样的SELECT语句（区分大小写），将直接从缓冲区中读取结果。根据MySQL用户手册，使用查询缓冲最多可以达到238%的效率。
# 通过检查状态值'Qcache_%'，可以知道query_cache_size设置是否合理：如果Qcache_lowmem_prunes的值非常大，则表明经常出现缓冲不够的情况

query_cache_limit = 2M
#指定单个查询能够使用的缓冲区大小，默认1M

key_buffer_size = 4M
#指定用于索引的缓冲区大小，增加它可得到更好处理的索引(对所有读和多重写)
# 至少是1:100，1:1000更好(上述状态值可以使用SHOW STATUS LIKE 'key_read%'获得)。注意：该参数值设置的过大反而会是服务器整体效率降低

ft_min_word_len = 4
# 分词词汇最小长度，默认4

transaction_isolation = REPEATABLE-READ
# MySQL支持4种事务隔离级别，他们分别是：
# READ-UNCOMMITTED, READ-COMMITTED, REPEATABLE-READ, SERIALIZABLE.
# 如没有指定，MySQL默认采用的是REPEATABLE-READ，ORACLE默认的是READ-COMMITTED

log_bin = mysql-bin
binlog_format = mixed
expire_logs_days = 30 #超过30天的binlog删除

log_error = /data/mysql/mysql-error.log #错误日志路径
slow_query_log = 1
long_query_time = 1 #慢查询时间 超过1秒则为慢查询
slow_query_log_file = /data/mysql/mysql-slow.log

performance_schema = 0
explicit_defaults_for_timestamp

#lower_case_table_names = 1 #不区分大小写

skip-external-locking #MySQL选项以避免外部锁定。该选项默认开启

default-storage-engine = InnoDB #默认存储引擎

innodb_file_per_table = 1

innodb_open_files = 500
# 限制Innodb能打开的表的数据，如果库里的表特别多的情况，需要增加，默认是300

innodb_buffer_pool_size = 64M
# 设置越大，在存取表里面数据时所需要的磁盘I/O越少.
不要设置过大,否则物理内存的竞争可能导致操作系统的换页颠簸.

innodb_write_io_threads = 4
innodb_read_io_threads = 4
# innodb使用后台线程处理数据页上的读写 I/O(输入输出)请求,根据你的 CPU 核数来更改,默认是4
# 注:这两个参数不支持动态改变,需要把该参数加入到my.cnf里，修改完后重启MySQL服务,允许值的范围从 1-64

innodb_thread_concurrency = 0
# 默认设置为 0,表示不限制并发数，推荐设置为0，提高并发量

innodb_purge_threads = 1
# InnoDB中的清除操作是一类定期回收无用数据的操作。在之前的几个版本中，清除操作是主线程的一部分，这意味着运行时它可能会堵塞其它的数据库操作。
# 从MySQL5.5.X版本开始，该操作运行于独立的线程中,并支持更多的并发数。用户可通过设置innodb_purge_threads配置参数来选择清除操作是否使用单
# 独线程,默认情况下参数设置为0(不使用单独线程),设置为 1 时表示使用单独的清除线程。建议为1

innodb_flush_log_at_trx_commit = 2
# 0：如果innodb_flush_log_at_trx_commit的值为0,log buffer每秒就会被刷写日志文件到磁盘，提交事务的时候不做任何操作（执行是由mysql的master thread线程来执行的。
# 1：当设为默认值1的时候，每次提交事务的时候，都会将log buffer刷写到日志。
# 2：如果设为2,每次提交事务都会写日志，但并不会执行刷的操作。每秒定时会刷到日志文件。要注意的是，并不能保证100%每秒一定都会刷到磁盘，这要取决于进程的调度。
# 1最安全的，但性能最差。0性能最高。

innodb_log_buffer_size = 2M
# 此参数确定些日志文件所用的内存大小，以M为单位。缓冲区更大能提高性能，但意外的故障将会丢失数据。MySQL开发人员建议设置为1－8M之间

innodb_log_file_size = 32M
# 此参数确定数据日志文件的大小，更大的设置可以提高性能，但也会增加恢复故障数据库所需的时间

innodb_log_files_in_group = 3
# 为提高性能，MySQL可以以循环方式将日志文件写到多个文件。推荐设置为3

innodb_max_dirty_pages_pct = 90
# innodb主线程刷新缓存池中的数据，使脏数据比例小于90%

innodb_lock_wait_timeout = 120 
# InnoDB事务在被回滚之前可以等待一个锁定的超时秒数。InnoDB在它自己的锁定表中自动检测事务死锁并且回滚事务。InnoDB用LOCK TABLES语句注意到锁定设置。默认值是50秒

bulk_insert_buffer_size = 8M
# 批量插入缓存大小， 这个参数是针对MyISAM存储引擎来说的。适用于在一次性插入100-1000+条记录时， 提高效率。默认值是8M。可以针对数据量的大小，翻倍增加。

myisam_sort_buffer_size = 8M
# MyISAM设置恢复表之时使用的缓冲区的尺寸，当在REPAIR TABLE或用CREATE INDEX创建索引或ALTER TABLE过程中排序 MyISAM索引分配的缓冲区

myisam_max_sort_file_size = 10G
# 如果临时文件会变得超过索引，不要使用快速排序索引方法来创建一个索引。注释：这个参数以字节的形式给出

myisam_repair_threads = 1
# 如果该值大于1，在Repair by sorting过程中并行创建MyISAM表索引(每个索引在自己的线程内) 

interactive_timeout = 28800
# 服务器关闭交互式连接前等待活动的秒数。交互式客户端定义为在mysql_real_connect()中使用CLIENT_INTERACTIVE选项的客户端。默认值：28800秒（8小时）

wait_timeout = 28800
# 服务器关闭非交互连接之前等待活动的秒数。参数默认值：28800秒（8小时）
# MySQL服务器所支持的最大连接数是有上限的，因为每个连接的建立都会消耗内存，客户端在连接到MySQL Server处理完相应的操作后，应该断开连接并释放占用的内存。如果有大量的闲置连接，最终肯定会达到MySQL Server的连接上限数，会报'too many connections'的错误。系统运行一段时间后，可以通过show processlist命令查看当前系统的连接状态，如果发现有大量的sleep状态的连接进程，则说明该参数设置的过大。要同时设置interactive_timeout和wait_timeout才会生效。

[mysqldump]
quick
max_allowed_packet = 16M #服务器发送和接受的最大包长度

[myisamchk]
key_buffer_size = 8M
sort_buffer_size = 8M
read_buffer = 4M
write_buffer = 4M