SQL大量数据查询的优化避免全表扫描

规避全表扫描

1.对查询进行优化，应尽量避免全表扫描，首先应考虑在 where 及 order by 涉及的列上建立索引；

2.下面的查询也将导致全表扫描：select id from t where name like 'abc%'

若要提高效率，可以考虑全文检索(如下有介绍);这个语句的出现在工作中时有发生；

3.尽量避免在 where 子句中对字段进行 null 值判断，否则将导致引擎放弃使用索引而进行全表扫描；

4.in 和 not in 也要慎用，否则会导致全表扫描；

5.尽量避免在 where 子句中对字段进行表达式操作,方式要转化

select id from t where num/2=100

应改为:

select id from t where num=100*2；

6.避免在 where 子句中使用!=或<>操作符，否则将引擎放弃使用索引而进行全表扫描；

7.尽量避免在where子句中对字段进行函数操作，这将导致引擎放弃使用索引而进行全表扫描；

8.尽量避免在 where 子句中对字段进行 null 值判断，否则将导致引擎放弃使用索引而进行全表扫描；

9.量避免在 where 子句中使用 or 来连接条件，否则将导致引擎放弃使用索引而进行全表扫描

select id from t where num=10 or num=20

可以这样查询：

select id from t where num=10

union all

select id from t where num=20

二、Mysql全文检索

1.使用Mysql全文检索fulltext的先决条件

表的类型必须是MyISAM

建立全文检索的字段类型必须是char,varchar,text

2.建立全文检索先期配置

由于Mysql的默认配置是索引的词的长度是4,所以要支持中文单字的话,首先更改这个.

*Unix用户要修改my.cnf,一般此文件在/etc/my.cnf,如果没有找到,先查找一下find / -name ‘my.cnf’

在 [mysqld] 位置内加入:

ft_min_word_len = 2

其它属性还有

ft_wordlist_charset = gbk

ft_wordlist_file = /home/soft/mysql/share/mysql/wordlist-gbk.txt

ft_stopword_file = /home/soft/mysql/share/mysql/stopwords-gbk.txt

稍微解释一下:

ft_wordlist_charset 表示词典的字符集, 目前支持良好的有(UTF-8, gbk, gb2312, big5)

ft_wordlist_file 是词表文件, 每行包括一个词及其词频(用若干制表符或空格分开,消岐专用)

ft_stopword_file 表示过滤掉不索引的词表, 一行一个.

ft_min_word_len 加入索引的词的最小长度, 缺省是 4, 为了支持中文单字故改为 2

3.建立全文检索

在建表中用FullText关键字标识字段,已存在的表用 ALTER TABLE (或 CREATE INDEX) 创建索引

CREATE fulltext INDEX index_name ON table_name(colum_name);

4.使用全文检索

在SELECT的WHERE字句中用MATCH函数,索引的关键词用AGAINST标识,IN BOOLEAN MODE是只有含有关键字就行,不用在乎位置,是不是起启位置.

SELECT * FROM articles WHERE MATCH (tests) AGAINST (‘哈哈’ IN BOOLEAN MODE);