sql优化

1、数据分区
对海量数据的查询优化，一种重要方式是如何有效的存储并降低需要处理的数据规模，所以我们可以对海量数据进行分区。例如，针对年份存取的数据，可以按照年进行分区，不同数据库有不同的分区方式，但处理机制却大体相同。例如SQLserver的数据分区将不同的数据存于不同的文件组中，而不同的文件组存在不同的磁盘分区下，这样把数据分区，减少磁盘IO和系统负荷。
2、索引
索引一般可以加速数据的检索数据，加速表之间的连接，对表建索引包括在主键上建立聚簇索引，将聚合索引建立在日期列上。
索引优点很多，但是对于索引的建立，还需要考虑实际情况，而不能对每个列都建索引。如果表结构很大，你要考虑到建立索引和维护索引的开销，索引本身也占物理空间，动态修改表也要动态维护索引，如果这些开销大过索引带来的速度优化，那就得不偿失了。
3、缓存机制
当数据量增加时，一般的处理工具都考虑到缓存问题，缓存大小的设置也关系到数据处理的表现。例如，处理2亿条数据聚合操作时，缓存设置为100000条/buffer合理。
4、加大虚存
由于系统资源有限，而需要处理的数据量非常大，当内存不足时，适量增加虚存来解决。
5、分批处理
由于处理信息量巨大，可以对海量数据进行分批处理(类似云计算的MapReduce)，然后再对处理后的数据进行合并操作，分而治之，这样有利于处理小数据。
6、使用临时表和中间表
数据量增加时，处理中要考虑提前汇总，这样做的目的是化整为零，大表变小表，分块处理完成后再利用一定的规则进行合并，处理过程中的临时表的使用和中间结果的保存都非常重要。如果对超海量的数据，大表处理不了，只能拆分为多个小表。如果处理过程中需要多步汇总操作，则可按汇总步骤一步一步来。
7、优化查询语句
查询语句的性能对查询效率的影响非常大。尽量早地缩小查询范围。
8、使用视图
视图是表的逻辑表现，不占用物理空间。对于海量数据，可以按一定的规则分散到各个基本表中，查询过程基于视图进行。
9、使用存储过程
在存储过程中尽量使用SQL自带的返回参数，而非自定义的返回参数，减少不必要的参数，避免数据冗余
10、用排序来取代非顺序存储
磁盘臂的来回移动使得非顺序磁盘存取变成了最慢的操作，但是在SQL语句中这个现象被隐藏了，这样就使得查询中进行了大量的非顺序页查询，降低了查询顺序。
11、使用采样数据进行数据挖掘
基于海量数据的数据挖掘方兴未艾，面对超海量数据，一般的挖掘算法往往采用数据抽样的方式进行处理，这样误差不会太大，大大提高处理效率和处理的成功率。一般采样时应注意数据的完整性，防止过大的偏差。
sql优化：
1、在表中建立索引，优先考虑where、group by使用到的字段。

2、尽量避免使用select *，返回无用的字段会降低查询效率。如下：

SELECT * FROM t

优化方式：使用具体的字段代替*，只返回使用到的字段。

3、尽量避免使用in 和not in，会导致数据库引擎放弃索引进行全表扫描。如下：

SELECT * FROM t WHERE id IN (2,3)

SELECT * FROM t1 WHERE username IN (SELECT username FROM t2)

优化方式：如果是连续数值，可以用between代替。如下：

SELECT * FROM t WHERE id BETWEEN 2 AND 3

如果是子查询，可以用exists代替。如下：

SELECT * FROM t1 WHERE EXISTS (SELECT * FROM t2 WHERE t1.username = t2.username)

4、尽量避免使用or，会导致数据库引擎放弃索引进行全表扫描。如下：

SELECT * FROM t WHERE id = 1 OR id = 3

优化方式：可以用union代替or。如下：

SELECT * FROM t WHERE id = 1
UNION
SELECT * FROM t WHERE id = 3

（PS：如果or两边的字段是同一个，如例子中这样。貌似两种方式效率差不多，即使union扫描的是索引，or扫描的是全表）

5、尽量避免在字段开头模糊查询，会导致数据库引擎放弃索引进行全表扫描。如下：

SELECT * FROM t WHERE username LIKE ‘%li%’

优化方式：尽量在字段后面使用模糊查询。如下：

SELECT * FROM t WHERE username LIKE ‘li%’

6、尽量避免进行null值的判断，会导致数据库引擎放弃索引进行全表扫描。如下：

SELECT * FROM t WHERE score IS NULL

优化方式：可以给字段添加默认值0，对0值进行判断。如下：

SELECT * FROM t WHERE score = 0

7、尽量避免在where条件中等号的左侧进行表达式、函数操作，会导致数据库引擎放弃索引进行全表扫描。如下：

SELECT * FROM t2 WHERE score/10 = 9

SELECT * FROM t2 WHERE SUBSTR(username,1,2) = ‘li’

优化方式：可以将表达式、函数操作移动到等号右侧。如下：

SELECT * FROM t2 WHERE score = 10*9

SELECT * FROM t2 WHERE username LIKE ‘li%’

8、当数据量大时，避免使用where 1=1的条件。通常为了方便拼装查询条件，我们会默认使用该条件，数据库引擎会放弃索引进行全表扫描。如下：

SELECT * FROM t WHERE 1=1

优化方式：用代码拼装sql时进行判断，没where加where，有where加and。