这里写MyISAM引擎和InnoDB引擎介绍及应用场景自定义目录标题
- 查询缓冲常被用来缓冲 SELECT 的结果并且在下一次同样查询的时候不再执行直接返回结果.
- 打开查询缓冲可以极大的提高服务器速度, 如果你有大量的相同的查询并且很少修改表.
- 查看 “Qcache_lowmem_prunes” 状态变量来检查是否当前值对于你的负载来说是否足够高.
- 注意: 在你表经常变化的情况下或者如果你的查询原文每次都不同,
- 查询缓冲也许引起性能下降而不是性能提升.
- 只有小于此设定值的结果才会被缓冲
- 此设置用来保护查询缓冲,防止一个极大的结果集将其他所有的查询结果都覆盖.
- 如果你的MySQL服务包含InnoDB支持但是并不打算使用的话,
- 使用此选项会节省内存以及磁盘空间,并且加速某些部分
- 附加的内存池被InnoDB用来保存 metadata 信息
- 如果InnoDB为此目的需要更多的内存,它会开始从OS这里申请内存.
- 由于这个操作在大多数现代操作系统上已经足够快, 你一般不需要修改此值.
- SHOW INNODB STATUS 命令会显示当先使用的数量.
- InnoDB使用一个缓冲池来保存索引和原始数据, 不像 MyISAM.
- 这里你设置越大,你在存取表里面数据时所需要的磁盘I/O越少.
- 在一个独立使用的数据库服务器上,你可以设置这个变量到服务器物理内存大小的80%
- 不要设置过大,否则,由于物理内存的竞争可能导致操作系统的换页颠簸.
- 注意在32位系统上你每个进程可能被限制在 2-3.5G 用户层面内存限制,
- 所以不要设置的太高.
- InnoDB 将数据保存在一个或者多个数据文件中成为表空间.
- 如果你只有单个逻辑驱动保存你的数据,一个单个的自增文件就足够好了.
- 其他情况下.每个设备一个文件一般都是个好的选择.
- 你也可以配置InnoDB来使用裸盘分区 – 请参考手册来获取更多相关内容
- 设置此选项如果你希望InnoDB表空间文件被保存在其他分区.
- 默认保存在MySQL的datadir中.
- 用来同步IO操作的IO线程的数量. This value is
- 此值在Unix下被硬编码为4,但是在Windows磁盘I/O可能在一个大数值下表现的更好.
- 如果你发现InnoDB表空间损坏, 设置此值为一个非零值可能帮助你导出你的表.
- 从1开始并且增加此值知道你能够成功的导出表.
- 在InnoDb核心内的允许线程数量.
- 最优值依赖于应用程序,硬件以及操作系统的调度方式.
- 过高的值可能导致线程的互斥颠簸.
- 如果设置为1 ,InnoDB会在每次提交后刷新(fsync)事务日志到磁盘上,
- 这提供了完整的ACID行为.
- 如果你愿意对事务安全折衷, 并且你正在运行一个小的食物, 你可以设置此值到0或者2来减少由事务日志引起的磁盘I/O
- 0代表日志只大约每秒写入日志文件并且日志文件刷新到磁盘.
- 2代表日志写入日志文件在每次提交后,但是日志文件只有大约每秒才会刷新到磁盘上.
- 加速InnoDB的关闭. 这会阻止InnoDB在关闭时做全清除以及插入缓冲合并.
- 这可能极大增加关机时间, 但是取而代之的是InnoDB可能在下次启动时做这些操作.
- 用来缓冲日志数据的缓冲区的大小.
- 当此值快满时, InnoDB将必须刷新数据到磁盘上.
- 由于基本上每秒都会刷新一次,所以没有必要将此值设置的太大(甚至对于长事务而言)
- 在日志组中每个日志文件的大小.
- 你应该设置日志文件总合大小到你缓冲池大小的25%~100%
- 来避免在日志文件覆写上不必要的缓冲池刷新行为.
- 不论如何, 请注意一个大的日志文件大小会增加恢复进程所需要的时间.
- 在日志组中的文件总数.
- 通常来说2~3是比较好的.
- InnoDB的日志文件所在位置. 默认是MySQL的datadir.
- 你可以将其指定到一个独立的硬盘上或者一个RAID1卷上来提高其性能
- 在InnoDB缓冲池中最大允许的脏页面的比例.
- 如果达到限额, InnoDB会开始刷新他们防止他们妨碍到干净数据页面.
- 这是一个软限制,不被保证绝对执行.
- InnoDB用来刷新日志的方法.
- 表空间总是使用双重写入刷新方法
- 默认值是 “fdatasync”, 另一个是 “O_DSYNC”.
- 在被回滚前,一个InnoDB的事务应该等待一个锁被批准多久.
- InnoDB在其拥有的锁表中自动检测事务死锁并且回滚事务.
- 如果你使用 LOCK TABLES 指令, 或者在同样事务中使用除了InnoDB以外的其他事务安全的存储引擎
- 那么一个死锁可能发生而InnoDB无法注意到.
- 这种情况下这个timeout值对于解决这种问题就非常有帮助.
- InnoDB
一、MyISAM引擎介绍
1.1什么是MyISAM引擎?
MyISAM引擎是MySQL关系数据库管理系统的默认存储引擎(MySQL5.5版本以前)。这种MySQL
表存储结构从旧的ISAM代码扩展出许多有用的功能。在新版本的MySQL中,InnoDB引擎由于其对事物参照完整性,以及更高的并发性等优点开始逐步的取代MyISAM引擎。
小结:事物参照完整性可理解为数据的一致性。
1.2 MyISAM引擎的特点
1、不支持事务(事务就是逻辑上的一组SQL语句操作,组成这组操作的各个SQL语句,执行时要么全部成功,要么全部失败)
2、表级锁定(更新是锁整个表):其锁定机制是表级锁定,虽然可以让锁定的实现成本很小,但是大大的降低了其并发性能。
小结:MyISAM锁定的范围太大
3、读写互相堵塞:不仅会在写入的时候阻塞读取,MyISAM还会在读取的时候阻塞写入,但读本身并不会阻塞另外的读。
4、只会缓存索引:MyISAM可以通过key_buffer_size缓存索引,大大提高访问性能,减少磁盘的I/O,但是缓存区只会缓存索引,不会缓存数据。
5、读取速度较快,占用资源相对少。
6、不支持外键约束,但支持全文索引。
7、MyISQM引擎是mysql_5.5.5之前的索引。
1.3 MyISAM引擎使用的生产业务场景
1、不需要事务支持的业务(转账、充值、付款这种就不行)。
2、一般为读数据比较多的应用。读写都频繁的不适合,读多或写多都适合。
3、并发访问相对低的业务(纯读、纯写高并发也可以)。
4、数据修改相对较少的业务(阻塞问题)。
5、以读为主的业务,例如:www,blog,图片信息数据库,用户数据库,商品库等业务。
6、对数据一致性要求不是很高的业务。
7、硬件资源比较差的机器可以用MyISAM。
小结:单一对数据库的操作都可以使用MyISAM引擎。
1.4 MyISAM引擎调优精要
1、设置合适的索引(缓存机制)。
2、调整读写优先级,根据实际需求确保操作更优先执行。
mysql> help select
SELECT
[ALL | DISTINCT | DISTINCTROW ]
[HIGH_PRIORITY]
[STRAIGHT_JOIN]
[SQL_SMALL_RESULT] [SQL_BIG_RESULT] [SQL_BUFFER_RESULT]
[SQL_CACHE | SQL_NO_CACHE] [SQL_CALC_FOUND_ROWS]
3、启动延迟插入改善大批量写入性能(降低写入频率,尽可能多条数据一次性写入)。
4、尽量顺序操作让insert数据都写入到尾部,较少阻塞。
5、分解大的时间长的操作,降低单个操作的阻塞时间。
6、降低并发数(降低对mysql访问),某些高并发场景通过应用进行排队对列机制。
7、对于相对静态(更改不频繁)的数据库数据,充分利用query cache 或memcached缓存服务可以极大的提高访问效率。
查询缓冲常被用来缓冲 SELECT 的结果并且在下一次同样查询的时候不再执行直接返回结果.
打开查询缓冲可以极大的提高服务器速度, 如果你有大量的相同的查询并且很少修改表.
查看 “Qcache_lowmem_prunes” 状态变量来检查是否当前值对于你的负载来说是否足够高.
注意: 在你表经常变化的情况下或者如果你的查询原文每次都不同,
查询缓冲也许引起性能下降而不是性能提升.
query_cache_size = 128M
=======================================================================================================================================================
只有小于此设定值的结果才会被缓冲
此设置用来保护查询缓冲,防止一个极大的结果集将其他所有的查询结果都覆盖.
query_cache_limit = 4M
二、InnoDB引擎介绍
2.1 什么是InnoDB引擎?
InnoDB引擎是MySQL数据库的另一个重要的存储引擎,正成为目前MySQL所发行新版本的标准,被包含在所有二进制安装包里。和其它的存储引擎相比,InnoDB引擎的优点是支持兼容ACID的事务(类似于PostgreSQL),以及参数的完整性(即对外键的支持)。
mysql> select version();
±----------+
| version() |
±----------+
| 5.6.17 |
±----------+
1 row in set (0.00 sec)
2.2 InnoDB引擎特点
1、支持事务:支持事务的四个级别(ACID)。
2、行级锁定:通过索引实现,全表扫描仍然是表锁。
3、读写阻塞与事务隔离级别相关。
4、具有非常高效的缓存特性:能缓存索引,也能缓存数据。
5、整个表和主键以cluster方式存储,组成一颗平衡树。
6、所有secondary inex都会保存主键信息。
7、支持分区,表空间,类似oracle数据库。
8、支持外键约束,不支持全文索引。5.5版本以前不支持全文索引,5.5版本之后支持。
9、和MyISAM相比对硬件的资源要求比较高。
2.3 InnoDB引擎适用的生产应用场景
1、需要事务支持的业务(具有较好的事务特性)。
2、行级锁定对高并发有很好的适用能力,但需要确保查询是通过索引来来完成的。
3、数据读写及更新都较为频繁的场景,如:BBS、SNS、微博等。
4、数据一致性要求较高的业务,如:充值转账。
5、硬件设备内存较大,可以利用InnoDB较好的缓存能力来提高内存使用率,尽可能的较少磁盘的I/O。
2.4 生产环境InnoDB配置参数详解
如果你的MySQL服务包含InnoDB支持但是并不打算使用的话,
使用此选项会节省内存以及磁盘空间,并且加速某些部分
#skip-innodb
=======================================================================================================================================================
附加的内存池被InnoDB用来保存 metadata 信息
如果InnoDB为此目的需要更多的内存,它会开始从OS这里申请内存.
由于这个操作在大多数现代操作系统上已经足够快, 你一般不需要修改此值.
SHOW INNODB STATUS 命令会显示当先使用的数量.
innodb_additional_mem_pool_size = 64M
=======================================================================================================================================================
InnoDB使用一个缓冲池来保存索引和原始数据, 不像 MyISAM.
这里你设置越大,你在存取表里面数据时所需要的磁盘I/O越少.
在一个独立使用的数据库服务器上,你可以设置这个变量到服务器物理内存大小的80%
不要设置过大,否则,由于物理内存的竞争可能导致操作系统的换页颠簸.
注意在32位系统上你每个进程可能被限制在 2-3.5G 用户层面内存限制,
所以不要设置的太高.
innodb_buffer_pool_size = 6G
=======================================================================================================================================================
InnoDB 将数据保存在一个或者多个数据文件中成为表空间.
如果你只有单个逻辑驱动保存你的数据,一个单个的自增文件就足够好了.
其他情况下.每个设备一个文件一般都是个好的选择.
你也可以配置InnoDB来使用裸盘分区 – 请参考手册来获取更多相关内容
innodb_data_file_path = ibdata1:10M:autoextend
=======================================================================================================================================================
设置此选项如果你希望InnoDB表空间文件被保存在其他分区.
默认保存在MySQL的datadir中.
#innodb_data_home_dir =
=======================================================================================================================================================
用来同步IO操作的IO线程的数量. This value is
此值在Unix下被硬编码为4,但是在Windows磁盘I/O可能在一个大数值下表现的更好.
innodb_file_io_threads = 4
=======================================================================================================================================================
如果你发现InnoDB表空间损坏, 设置此值为一个非零值可能帮助你导出你的表.
从1开始并且增加此值知道你能够成功的导出表.
#innodb_force_recovery=1
=======================================================================================================================================================
在InnoDb核心内的允许线程数量.
最优值依赖于应用程序,硬件以及操作系统的调度方式.
过高的值可能导致线程的互斥颠簸.
innodb_thread_concurrency = 16
=======================================================================================================================================================
如果设置为1 ,InnoDB会在每次提交后刷新(fsync)事务日志到磁盘上,
这提供了完整的ACID行为.
如果你愿意对事务安全折衷, 并且你正在运行一个小的食物, 你可以设置此值到0或者2来减少由事务日志引起的磁盘I/O
0代表日志只大约每秒写入日志文件并且日志文件刷新到磁盘.
2代表日志写入日志文件在每次提交后,但是日志文件只有大约每秒才会刷新到磁盘上.
innodb_flush_log_at_trx_commit = 2
(说明:如果是游戏服务器,建议此值设置为2;如果是对数据安全要求极高的应用,建议设置为1;
设置为0性能最高,但如果发生故障,数据可能会有丢失的危险!
默认值1的意思是每一次事务提交或事务外的指令都需要把日志写入(flush)硬盘,这是很费时的。
特别是使用电池供电缓存(Battery backed up cache)时。
设成2对于很多运用,特别是从MyISAM表转过来的是可以的,它的意思是不写入硬盘而是写入系统缓存。
日志仍然会每秒flush到硬盘,所以你一般不会丢失超过1-2秒的更新。设成0会更快一点,但安全方面比较差,即使MySQL挂了也可能会丢失事务的数据。
而值2只会在整个操作系统挂了时才可能丢数据。)
===============================================================================================================================
加速InnoDB的关闭. 这会阻止InnoDB在关闭时做全清除以及插入缓冲合并.
这可能极大增加关机时间, 但是取而代之的是InnoDB可能在下次启动时做这些操作.
#innodb_fast_shutdown
===============================================================================================================================
用来缓冲日志数据的缓冲区的大小.
当此值快满时, InnoDB将必须刷新数据到磁盘上.
由于基本上每秒都会刷新一次,所以没有必要将此值设置的太大(甚至对于长事务而言)
innodb_log_buffer_size = 16M
================================================================================================================================
在日志组中每个日志文件的大小.
你应该设置日志文件总合大小到你缓冲池大小的25%~100%
来避免在日志文件覆写上不必要的缓冲池刷新行为.
不论如何, 请注意一个大的日志文件大小会增加恢复进程所需要的时间.
innodb_log_file_size = 512M
================================================================================================================================
在日志组中的文件总数.
通常来说2~3是比较好的.
innodb_log_files_in_group = 3
================================================================================================================================
InnoDB的日志文件所在位置. 默认是MySQL的datadir.
你可以将其指定到一个独立的硬盘上或者一个RAID1卷上来提高其性能
#innodb_log_group_home_dir
================================================================================================================================
在InnoDB缓冲池中最大允许的脏页面的比例.
如果达到限额, InnoDB会开始刷新他们防止他们妨碍到干净数据页面.
这是一个软限制,不被保证绝对执行.
innodb_max_dirty_pages_pct = 90
================================================================================================================================
InnoDB用来刷新日志的方法.
表空间总是使用双重写入刷新方法
默认值是 “fdatasync”, 另一个是 “O_DSYNC”.
#innodb_flush_method=O_DSYNC
================================================================================================================================
在被回滚前,一个InnoDB的事务应该等待一个锁被批准多久.
InnoDB在其拥有的锁表中自动检测事务死锁并且回滚事务.
如果你使用 LOCK TABLES 指令, 或者在同样事务中使用除了InnoDB以外的其他事务安全的存储引擎
那么一个死锁可能发生而InnoDB无法注意到.
这种情况下这个timeout值对于解决这种问题就非常有帮助.
innodb_lock_wait_timeout = 120
2.5 某公司生产环境InnoDB配置
InnoDB
innodb_data_home_dir = /
innodb_log_group_home_dir = /
innodb_data_file_path = ibdata1:1G:autoextend
innodb_buffer_pool_size = 4G
innodb_buffer_pool_instances = 8
#innodb_additional_mem_pool_size = 16M
innodb_log_file_size = 200M
innodb_log_buffer_size = 16M
innodb_log_files_in_group = 3
innodb_flush_log_at_trx_commit = 2
innodb_lock_wait_timeout = 10
innodb_sync_spin_loops = 40
innodb_max_dirty_pages_pct = 90
innodb_support_xa = 0
innodb_thread_concurrency = 0
innodb_thread_sleep_delay = 500
#innodb_file_io_threads = 4
innodb_concurrency_tickets = 1000
log_bin_trust_function_creators = 1
innodb_flush_method = O_DIRECT
innodb_file_per_table
innodb_read_io_threads = 16
innodb_write_io_threads = 16
innodb_io_capacity = 2000
innodb_file_format = Barracuda
innodb_purge_threads=1
innodb_purge_batch_size = 32
innodb_old_blocks_pct=75
innodb_change_buffering=all
innodb_stats_on_metadata=OFF
2.6 InnoDB引擎调优精要
1、主键尽可能小,避免给secondary index带来更大的空间负担。
2、避免全表扫描,因为会使用表锁。
3、尽可能缓存所有的索引和数据,提高响应速度,较少磁盘I/O。
4、在大批量插入的数据,尽量自己控制事务而不要使用autocommit自动提交。有开关可以控制提交方式。
MysQL5.6版本
1、查看当前数据库自动提交的状态,默认为ON
mysql> show variables like “%autocommit%” ;
±--------------±------+
| Variable_name | Value |
±--------------±------+
| autocommit | ON |
±--------------±------+
1 row in set (0.00 sec)
小结:mysql默认是自动提交的,oracle需要手动提交。
2、设置自动提交的状态为OFF
mysql> set global autocommit=off;
Query OK, 0 rows affected (0.00 sec)
mysql> show variables like “%autocommit%” ;
±--------------±------+
| Variable_name | Value |
±--------------±------+
| autocommit | OFF |
±--------------±------+
1 row in set (0.00 sec)
小结:
1、创建一个表,如果自动提交的状态为OFF,就需要commit手动提交。
3、回滚事务
mysql> rollback;
Query OK, 0 rows affected (0.00 sec)
5、合理设置innodb_flush_log_at_trx_commit参数的值,不要过度追求安全性。
如果innodb_flush_log_at_trx_commit设置为0,log buffer将每秒一次地写入log file中,并且log file的flush(刷到磁盘)操作同时进行.该模式下,在事务提交的时候,不会主动触发写入磁盘的操作。
如果innodb_flush_log_at_trx_commit设置为1,每次事务提交时MySQL都会把log buffer的数据写入log file,并且flush(刷到磁盘)中去。
如果innodb_flush_log_at_trx_commit设置为2,每次事务提交时MySQL都会把log buffer的数据写入log file.但是flush(刷到磁盘)操作并不会同时进行。该模式下,MySQL会每秒执行一次 flush(刷到磁盘)操作。
6、避免主键更新,因为会带来大量的数据移动。