MySQL MyISAM和InnoDB引擎的写入速度优化比较，分页速度优化

转载自http://www.4wei.cn/archives/1001855

MySQL MyISAM和InnoDB引擎的写入速度优化比较，分页速度优化

以下的文章主要介绍的是MySQL MyISAM的引擎和InnoDB引擎的实际性能的比较，我们首先是通过MySQL数据库的表结构来出MySQL MyISAM的引擎和InnoDB引擎的实际性能的实际操作。

帮助

01 02 03 04 05 06 07 08 09 10 11 12

CREATE TABLE `myisam` ( `id` int (11) NOT NULL auto_increment, ` name ` varchar (100) default NULL , `content` text, PRIMARY KEY (`id`) ) ENGINE=MyISAM DEFAULT CHARSET=gbk; CREATE TABLE `innodb` ( `id` int (11) NOT NULL auto_increment, ` name ` varchar (100) default NULL , `content` text, PRIMARY KEY (`id`) ) ENGINE=InnoDB DEFAULT CHARSET=gbk;

数据内容：

帮助

1	$name = “heiyeluren”;

$content = “MySQL支持数个存储引擎作为对不同表的类型的处理器。MySQL存储引擎包括处理事务安全表的引擎和处理非事务安全表的引擎：· MyISAM管理非事务表。它提供高速存储和检索，以及全文搜索能力。MySQL MyISAM在所有MySQL配置里被支持，它是默认的存储引擎，除非你配置MySQL默认使用另外一个引擎。 ·

MEMORY存储引擎提供“内存中”表。MERGE存储引擎允许集合将被处理同样的MyISAM表作为一个单独的表。就像MySQL MyISAM一样，MEMORY和MERGE存储引擎处理非事务表，这两个引擎也都被默认包含在MySQL中。

释：MEMORY存储引擎正式地被确定为HEAP引擎。· InnoDB和BDB存储引擎提供事务安全表。BDB被包含在为支持它的操作系统发布的MySQL-Max二进制分发版里。InnoDB也默认被包括在所有MySQL 5.1二进制分发版里，你可以按照喜好通过配置MySQL来允许或禁止任一引擎。·EXAMPLE存储引擎是一个“存根”引擎，它不做什么。你可以用这个引擎创建表，但没有数据被存储于其中或从其中检索。这个引擎的目的是服务，在MySQL源代码中的一个例子，它演示说明如何开始编写新存储引擎。同样，它的主要兴趣是对开发者。”;

[插入数据-1] (innodb_flush_log_at_trx_commit=1)

帮助

1 2 3 4 5 6

MyISAM 1W：3/s nnoDB 1W：219/s MyISAM 10W：29/s nnoDB 10W：2092/s MySQL MyISAM 100W：287/s InnoDB 100W：没敢测试

[插入数据-2] (innodb_flush_log_at_trx_commit=0)

帮助

1 2 3 4 5 6

MyISAM 1W：3/s InnoDB 1W：3/s MyISAM 10W：30/s InnoDB 10W：29/s MyISAM 100W：273/s InnoDB 100W：423/s

[插入数据3] (innodb_buffer_pool_size=1024M)

帮助

1 2 3

InnoDB 1W：3/s InnoDB 10W：33/s InnoDB 100W：607/s

[插入数据4] (innodb_buffer_pool_size=256M, innodb_flush_log_at_trx_commit=1, set autocommit=0)

帮助

1 2 3

InnoDB 1W：3/s InnoDB 10W：26/s InnoDB 100W：379/s

[MySQL 配置文件] (缺省配置)

帮助

01 02 03 04 05 06 07 08 09 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31

# MySQL Server Instance Configuration File [client] port=3306 [mysql] default-character-set=gbk [mysqld] port=3306 basedir=”C:/mysql50/” datadir=”C:/mysql50/Data/” default-character-set=gbk default-storage-engine=INNODB sql-mode=”STRICT_TRANS_TABLES,NO_AUTO_CREATE_USER,NO_ENGINE_SUBSTITUTION” max_connections=100   query_cache_size=0 table_cache=256 tmp_table_size=50M thread_cache_size=8 myisam_max_sort_file_size=100G myisam_max_extra_sort_file_size=100G myisam_sort_buffer_size=100M key_buffer_size=82M read_buffer_size=64K read_rnd_buffer_size=256K sort_buffer_size=256K innodb_additional_mem_pool_size=4M innodb_flush_log_at_trx_commit=1 innodb_log_buffer_size=2M innodb_buffer_pool_size=159M innodb_log_file_size=80M innodb_thread_concurr

以上的相关内容就是对MySQL MyISAM的介绍，望你能有所收获。

总结

可以看出在MySQL 5.0里面，MyISAM和InnoDB存储引擎性能差别并不是很大，针对InnoDB来说，影响性能的主要是 innodb_flush_log_at_trx_commit 这个选项，如果设置为1的话，那么每次插入数据的时候都会自动提交，导致性能急剧下降，应该是跟刷新日志有关系，设置为0效率能够看到明显提升，当然，同样你可以SQL中提交“SET AUTOCOMMIT = 0”来设置达到好的性能。另外，还听说通过设置innodb_buffer_pool_size能够提升InnoDB的性能，但是我测试发现没有特别明显的提升。

基本上我们可以考虑使用InnoDB来替代我们的MyISAM引擎了，因为InnoDB自身很多良好的特点，比如事务支持、存储过程、视图、行级锁定等等，在并发很多的情况下，相信InnoDB的表现肯定要比MyISAM强很多，当然，相应的在my.cnf中的配置也是比较关键的，良好的配置，能够有效的加速你的应用。

如果不是很复杂的Web应用，非关键应用，还是可以继续考虑MyISAM的，这个具体情况可以自己斟酌。

硬件配置
CPU : AMD2500+ (1.8G)
内存: 1G/现代
硬盘: 80G/IDE

软件配置
OS : Windows XP SP2
SE : PHP5.2.1
DB : MySQL5.0.37
Web: IIS6

mysql分页优化方法拾遗
在我的老双至强2.4G的ibm服务器上，37万小文本数据表执行select count(*)时间长达3.8秒(innodb存储引擎)，已经超出了可以忍受的范围(页面总执行时间不得超出1秒),因此开始寻找相关优化方法。

count在myisam和innodb下面的差异性
1.myisam保存表的总行数,因此count(*)并且无where子句,很快会返回表的总行数
2.myisam保存表的总行数,利用count(column)并且无where子句,并且此column不为null,很快会返回表的总行数
3.myisam保存表的总行数,利用count(column)并且无where子句,并且此column可以为null,mysql会对表进行全表或全索引扫描来确定行数
4.innodb查询count(*),count(column(not null)),count(column(may be null))并且无where子句,mysql会对表进行全表或全索引扫描来确定行数
5.myisam和innodb查询count(*),count(column(not null)),count(column(may be null))并且存在where子句,mysql会对表进行索引扫描(如果列上有索引),速度也比较快

来源：http://blog.sina.com.cn/s/blog_5b5460eb0100o4s6.html

在使用mysql数据表的分页程序里面，select count是效率的瓶颈所在。部分人使用避免使用不显示数据总数来规避这个问题，比如点点，永远只有下一页的分页链接。这种方式在我这里行不通，使用的extjs框架的gridpanel控件缺乏记录总数无法分页。另一种方式是新建一个数据表统计表记录数，在表新增和删除时对该记录同时做更新。这种方式或者可行。

记录总数的问题解决了，翻页到超过1万页之后速度又变得极慢(每页20条)。mysql分页使用limit offset,length，在10万记录之前效率可观，sql执行时间基本在1秒内(主键索引)，超过10万条后效率成数量级下降。

查阅资料得以下几种优化方式：
1、索引列大于法
SELECT id FROM table WHERE id>(SELECT id FROM table ORDER BY id LIMIT $start,1) ORDER BY id LIMIT $length;
30万数据时，加order by效率提高不多(1秒左右)，不加order by 效率提高一半
10万数据时，效率提高明显。

2、超过半数逆序分页法。
意为判断分页开始id是否超过总数的一半，如果超过一半则反写sql，减小了LIMIT里面的offset值，从而提高效率。
30万数据，假如原SQL语句是ORDER BY id LIMIT 200000,20,可改写为ORDER BY id DESC LIMIT 99980,20,效率提高超过一个数量级。

3、使用临时表缓存索引列，分页时使用临时表，获取到id用IN子查询。
SELECT id FROM table WHERE id IN(SELECT id FROM table_tmp LIMIT $start,$length);

经过再三考虑，我最后把这部分的优化暂时搁置了，太他娘的浪费时间了。

参考文献：
http://blog.hexu.org/archives/630.shtml
http://0e2.net/post/1555.html

----------------------------------------------------------------------

在看一个开源的cms,发现分配权限的部分很慢，如果分配所有权限的话，会超过脚本执行时候，对其逻辑进行优化后，能在超时前够执行完毕，但是还是很慢，最终定位到是数据插入很慢，发现是innodb的表，就按这篇文章思路进行优化，速度快了好几倍。