提高大数量数据查询速度的简单方法

转载 2007年09月24日 17:01:00

和大家分享一个提高大数量数据查询速度的简单方法。实际工作中的解决方案,有一定的局限性,希望能给遇到类似情况的兄弟姐妹一些启发。
案例:
数据库中有一个主要的数据表,叫它MasterTable,结构如下,数量在10亿条以上,有30列左右。系统中大多数的查询都会与之有关,由于数据量巨大所以效率很低。
解决方案:
生成临时表如TemporaryTable1,TemporaryTable2等,结构如下,这些表根据数据查询的需要只包含MasterTable中的几列,2小时(业务需要)以后将这些临时表Truncate一次,重新产生数据。这样可以大大提高查询的速度。

MasterTable
-----------------------------
| Col1 | Col2 | Col3 | …… |
-----------------------------
| Data | Data | Data | …… |
-----------------------------

TemporaryTable1
---------------
| Col1 | Col2 |
---------------
| Data | Data |
---------------

TemporaryTable2
---------------
| Col1 | Col3 |
---------------
| Data | Data |
---------------

当然这种解决方法有局限性,就是使用的数据并不是最新的数据,准确点说应该是前2小时以内的数据,但是如果满足业务的需要那么也是可以接受的。最后想提一下,业务需求的确定很重要。顺便提一句,重要数据一般会保存10年不删除,最长的应该是15年(法律规定),国外有些是要求7年。

 

mysql数据库表分区详解(数量过大的数据库表通过分区提高查询速度)

这篇文章主要介绍了MySQL的表分区,例如什么是表分区、为什么要对表进行分区、表分区的4种类型详解等,需要的朋友可以参考下 一、什么是表分区 通俗地讲表分区是将一大表,根据条件分割成若干个小表。m...

处理百万级以上的数据提高查询速度的方法1

1.应尽量避免在 where 子句中使用!=或操作符,否则将引擎放弃使用索引而进行全表扫描。  2.对查询进行优化,应尽量避免全表扫描,首先应考虑在 where 及 order by 涉及的列上...

关于mysql处理百万级以上的数据时如何提高其查询速度的方法

1、应尽量避免在 where 子句中使用!=或操作符,否则将引擎放弃使用索引而进行全表扫描。 2、对查询进行优化,应尽量避免全表扫描,首先应考虑在 where 及 order by 涉及的列上建立索引...

关于mysql处理百万级以上的数据时如何提高其查询速度的方法

最近一段时间由于工作需要,开始关注针对Mysql数据库的select查询语句的相关优化方法。       由于在参与的实际项目中发现当mysql表的数据量达到百万级时,普通SQL查询效率呈直线下...
  • JIESA
  • JIESA
  • 2016年12月16日 14:44
  • 422

关于mysql处理百万级以上的数据时如何提高其查询速度的方法

原文:http://www.2cto.com/database/201306/222839.html 最近一段时间由于工作需要,开始关注针对Mysql数据库的select查询语句的相关优化方法。...

处理百万级以上的数据提高查询速度的方法:

1.应尽量避免在 where 子句中使用!=或操作符,否则将引擎放弃使用索引而进行全表扫描。2.对查询进行优化,应尽量避免全表扫描,首先应考虑在 where 及 order by 涉及的列上建立索引。...

处理百万级以上的数据提高查询速度的方法

处理百万级以上的数据提高查询速度的方法:  1.应尽量避免在 where 子句中使用!=或  2.对查询进行优化,应尽量避免全表扫描,首先应考虑在 where 及 order by...

mysql处理百万级以上的数据时如何提高其查询速度的方法

1、应尽量避免在 where 子句中使用!=或  2、对查询进行优化,应尽量避免全表扫描,首先应考虑在 where 及 order by 涉及的列上建立索引。  3、应尽量避免在 wh...

关于mysql处理百万级以上的数据时如何提高其查询速度的方法

由于在参与的实际项目中发现当mysql表的数据量达到百万级时,普通SQL查询效率呈直线下降,而且如果where中的查询条件较多时,其查询速度简直无法容忍。曾经测试对一个包含400多万条记录(有索引)的...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:提高大数量数据查询速度的简单方法
举报原因:
原因补充:

(最多只允许输入30个字)