我们都知道在涉及海量数据问题的时候,一般都需要用到数据仓储和数据优化技术。那么怎样对数据优化呢?本文将简单介绍一下如何对海量数据的优化。
1.索引的使用:索引可以提高检索数据的速度,但同时也会降低写入数据的速度。
在SQLServer中专门有一个索引表来存放我们建立的索引,一般情况下我们都将索引建立在数据类型是Int或是Char型的字段上。
2.数据锁的使用:行锁,页锁,表锁等。(默认是页锁)
切记 防止死锁的发生。
3.数据库事务,数据并发方式。
一般将主从表放在事务中来处理。
4.尽量不循环读取数据,适当的时候可以增加一些临时表,或在临时表中增加一些临时字段,来避免循环。
5.横向切分
把表中经常查询的和不常用的分开成几个表
6.纵向切分
把不同类型的分成几个表
7.尽量不循环读取数据
可以使用临时表和一些临时字段来避免循环。临时表可以防止数据在中途被修改,且插入临时表中的数据不写入日志,建索引也非常快,且不插入索引实体表。可将要插入的数据先插入临时表中,最后一次性导入正式表中。
8.合理建立表的索引并利用表的索引
9.关联的表要尽量少,数据量少的表尽量放在数据量多的表的前面
10.避免where条件后面用函数
如:sum等。
11.避免长事务(等待时间过长)
12.数据表的字段不能太多
13.多使用试图(View)
14.大量数据的处理尽量放在存储过程中来实现
15.OR语句的写法尽量规范
如:select tid,tname from table where tid=5 and (tname='3' or tname='t')尽量写成select tid,tname from table where (tid=5 and tname='3' ) or (tid=5 and tname='t')
16.尽量不要在Sql语句中嵌套Sql语句(子查询)
17.在数据量大的情况下,为了提高检索速度,可适当增加表的冗余
18.用联接和Delete语句来代替Not In,In 比Not In要快
本文纯属公司一位牛人和我个人的一些经验之谈,不具参考价值。