提高大数量数据查询速度的简单方法

转载 2007年09月24日 17:01:00

和大家分享一个提高大数量数据查询速度的简单方法。实际工作中的解决方案,有一定的局限性,希望能给遇到类似情况的兄弟姐妹一些启发。
案例:
数据库中有一个主要的数据表,叫它MasterTable,结构如下,数量在10亿条以上,有30列左右。系统中大多数的查询都会与之有关,由于数据量巨大所以效率很低。
解决方案:
生成临时表如TemporaryTable1,TemporaryTable2等,结构如下,这些表根据数据查询的需要只包含MasterTable中的几列,2小时(业务需要)以后将这些临时表Truncate一次,重新产生数据。这样可以大大提高查询的速度。

MasterTable
-----------------------------
| Col1 | Col2 | Col3 | …… |
-----------------------------
| Data | Data | Data | …… |
-----------------------------

TemporaryTable1
---------------
| Col1 | Col2 |
---------------
| Data | Data |
---------------

TemporaryTable2
---------------
| Col1 | Col3 |
---------------
| Data | Data |
---------------

当然这种解决方法有局限性,就是使用的数据并不是最新的数据,准确点说应该是前2小时以内的数据,但是如果满足业务的需要那么也是可以接受的。最后想提一下,业务需求的确定很重要。顺便提一句,重要数据一般会保存10年不删除,最长的应该是15年(法律规定),国外有些是要求7年。

 

mysql千万级数据量根据(索引)优化查询速度

转自:http://blog.csdn.net/qq_33556185/article/details/52192551 (一)索引的作用 索引通俗来讲就相当于书的目录,当我们根据条件查询...
  • q549244663
  • q549244663
  • 2017年03月04日 11:35
  • 2076

关于mysql处理百万级以上的数据时如何提高其查询速度的方法

原文:http://www.2cto.com/database/201306/222839.html 最近一段时间由于工作需要,开始关注针对Mysql数据库的select查询语句的相关优化方法。...
  • u013810758
  • u013810758
  • 2014年06月16日 14:28
  • 4907

mysql千万级数据量根据索引优化查询速度

(一)索引的作用 索引通俗来讲就相当于书的目录,当我们根据条件查询的时候,没有索引,便需要全表扫描,数据量少还可以,一旦数据量超过百万甚至千万,一条查询sql执行往往需要几十秒甚至更多,5秒以上就已经...
  • qq_33556185
  • qq_33556185
  • 2016年08月15日 18:05
  • 22700

如何提高MySQL查询速度

1、选取最适用的字段属性 MySQL 可以很好的支持大数据量的存取,但是一般说来,数据库中的表越小,在它上面执行的查询也就会越快。因此,在创建表的时候,为了获得更好的性能,我们可以将表中字段的宽...
  • allen_fan_11
  • allen_fan_11
  • 2013年10月29日 20:37
  • 1774

那些看着高大上的名词

EJB,JNDI,JMS,JAF,JTA,,JTS,RMI,IIOP
  • yuezhifengming
  • yuezhifengming
  • 2015年10月13日 22:37
  • 753

Oracle数据库查询优化方案(处理上百万级记录如何提高处理查询速度)

1.对查询进行优化,应尽量避免全表扫描,首先应考虑在 where 及 order by 涉及的列上建立索引。 2.应尽量避免在 where 子句中对字段进行 null 值判断,否则将导致引擎放弃使用索...
  • qq_15766181
  • qq_15766181
  • 2015年08月09日 23:33
  • 7170

MySQL 影响SQL查询速度

查询速度为什么会慢SQL请求处理步骤 客户端发送SQL请求给MySQL服务器 MySQL服务器会在查询缓存中进行检查,查看是否可以在查询缓存中命中 服务端会对SQL进行解析、预处理再由优化器生成对应的...
  • lifelong_learning
  • lifelong_learning
  • 2017年08月08日 15:57
  • 402

加快数据库查询速度方法--建立索引

建立索引的目的是加快查询速度。 索引是与表或视图关联的磁盘上结构,可以加快从表或视图中检索行的速度。索引包含由表或视图中的一列或多列生成的键。这些键存储在一个结构(如B 树)中,使数据库管理系统可以...
  • shamoshan
  • shamoshan
  • 2011年08月23日 14:26
  • 2473

单片机的“内芯”世界

细心的童鞋们会发现,生活中有好多仪器仪表都以“微电脑” (有的是“数码” / “智能”)来冠以前缀,例如:微电脑电饭煲、微电脑洗衣机、微电脑万年历等等。这些电子产品给人一种高大上的感觉,似乎让人以为内...
  • liebao_han
  • liebao_han
  • 2016年10月20日 10:26
  • 771

请别把加班说的那么“高大上”

别把加班说的那么“高大上”        【本期观点】IT行业加班,到底有没有价值?    【导语】众所周知,说到 IT 行业,大家的第一印象都是「加班严重」     不得不说,加班确实是 IT 行业...
  • qq296398300
  • qq296398300
  • 2017年08月23日 14:51
  • 3701
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:提高大数量数据查询速度的简单方法
举报原因:
原因补充:

(最多只允许输入30个字)