sql中的大数据量数据提速

原创 2010年06月04日 11:02:00

最近做个项目接近千万条数据,对数据的读取速度,要求比较高。对此作了一个简单的总结。

1.sql语句书写的我们应该注意,尽量少使用in、or、和虚拟表。

(也有高人说,尽量多使用临时表能够减少磁盘的I/O操作,这个还有待验证)

2.建立索引,通常我们会把,聚集索引建立在使用多,但出现少的字段上。(例如:时间) 

3.建立组合索引,组合索引的创建之后,我们在查询条件上的条件书写顺序要,跟我们建索引的字段顺序一样。

4.使用具有包含列的索引。(引文:

当查询中的所有列都作为键列或非键列包含在索引中时,带有包含性非键列的索引可以显著提高查询性能。这样可以实现性能提升,因为查询优化器可以在索引中找到所有列值;不访问表或聚集索引数据,从而减少磁盘 I/O 操作。

5.对数据,按类别进行分区。

"陷阱"技术探秘----动态汉化Windows技术的分析

"陷阱"技术探秘----动态汉化Windows技术的分析 摘 要: 四通利方(RichWin),中文之星(CStar)是大家广为熟知的汉化Windows产品, "陷阱”技术即动态修改Windows代码...
  • andymei
  • andymei
  • 2000-08-20 02:07:00
  • 750

sql中的大数据量数据提速(二)

数据库优化--使用索引优化存储过程      现有数据库中有一个存储过程的查询时间为25s,最大的一个表的数据记录在70-80万条记录,感觉还有潜力可以挖掘。    经过一系列的优化最后,这个存储过程...
  • YANGZHONGBAO411
  • YANGZHONGBAO411
  • 2010-06-11 08:48:00
  • 522

SQL Server DBA调优日记(一)——大数据量查询记录数优化及原理探讨

SQL Server DBA调优日记第一篇,大数据量查询记录数优化及原理探讨。现象、解决、模拟、原理探讨。...
  • Wentasy
  • Wentasy
  • 2014-04-06 17:12:36
  • 10877

PostgreSQL 如何潇洒的处理每天上百TB的数据增量

摘要: 本文主要介绍并测试一下PostgreSQL 在中高端x86服务器上的数据插入速度,帮助企业用户了解PostgreSQL在这种纯插入场景的性能。(例如运营商网关数据,金融行业数据,产生量大,并且...
  • wzyzzu
  • wzyzzu
  • 2017-03-02 17:28:44
  • 360

SQL Server百万级大数据量删除

删除一个表中的部分数据,数据量百万级。一般delete from 表 delete from ysh where date...
  • xia_xing
  • xia_xing
  • 2016-06-21 10:48:28
  • 2841

sql大数据量查询的优化技巧

  • 2013年04月27日 12:37
  • 15KB
  • 下载

数据库大数据量处理问题讨论

一、我从事过6年的数据库高负载解决方案,处理过很多的海量数据问题。我的经验是:  1。优化数据存储的算法,保证io的读写最小,这一点最容易被人忽视,而这一点确实整个问题的关键。  2。确保可读数据在磁...
  • wzyzzu
  • wzyzzu
  • 2015-12-03 16:58:29
  • 605

SQL Tips:大数据量下的数据库日期操作问题

说明:以下数据库操作基于SQL Server 2000问题出现:假设一个新闻系统,你需要获取最近一周的热点文章,一定会使用类似下面的SQL语句: select top 50 newsID, newsT...
  • zdg
  • zdg
  • 2006-02-14 22:29:00
  • 8471

大数据量高并发的数据库优化,sql查询优化

一、数据库结构的设计      如果不能设计一个合理的数据库模型,不仅会增加客户端和服务器段程序的编程和维护的难度,而且将会影响系统实际运行的性能。所以,在一个系统开始实施之前,完备的数据库模型...
  • fghydx
  • fghydx
  • 2014-01-10 09:01:06
  • 2406

大数据量模糊查询优化

SQL Server数据库查询技巧一:   问题类型:ACCESS数据库字段中含有日文片假名或其它不明字符时查询会提示内存溢出。   解决方法:修改查询语句   sql="select * fr...
  • qq1162195421
  • qq1162195421
  • 2014-02-18 17:19:44
  • 1726
收藏助手
不良信息举报
您举报文章:sql中的大数据量数据提速
举报原因:
原因补充:

(最多只允许输入30个字)