大数据查询优化方案

原创 2015年07月07日 15:02:30

1 存储过程
2 建索引
3 分区   把数据分成几个区存放,搜索的结果合并。做表分区,缩小查找范围(按一个有效字段分区,比如按月份)
4 表空间
5 我们以前大数据量的解决方案是:把数据分批查出来,一次性查出来是没有什么好的解决办法。
6 like 必定扫全表
7 硬件:升级服务器,有这么多数据的应该不是小的应用,应该买个好点的服务器。
8 用负载均衡,把一个大表争成几个小表(垂直分表,把表里面的一些不常用的大字段信息拿出来)

9 视图

10 读写分立,做双机,一个读,一个写

11 sql语句优化,这个注意点太多了,具体可以通过explain找出慢查询(plsql的F5)

12 表字段尽量小,尽量回避blob,text;varchar最好也少用

13 数据量达到海量的话,分布式集群处理了,······以下省略8000字

 

--查询优化

常见优化查询的方案有如下:

1,对查询进行优化,应尽量避免全表扫描,首先应考虑在where及order by 涉及的列上建立索引。

2,应尽量避免在where子句中进行null的判断,否则将导致查询放弃进行索引进行全表扫描。可以在null上设默认值为0。

3,尽量避免在where子句中使用or来连接条件,否则将导致查询放弃进行索引进行全表扫描,可以考虑使用union all替换。

4,in 和not in 要慎用,否则会导致全表扫描。能用between则不用in。

5,避免使用Like 来进行模糊查询,可以考虑使用全文检索。

6,尽量避免在where子句中使用!=或<>操作符,否则会导致全表扫描。

7,使用视图加速查询。

8,能用distinct 则不用group by。

9,能用union all 则不用union。

10,避免在where子句中进行函数操作。

MySQL大数据量查询优化最佳方案

看过许许多多的MySQL大数据量查询优化方案,集合了所有的精华,在此分享了: 1、对查询进行优化、应尽量避免全表扫描、首先应考虑在 where 及 order by 涉及的列上建立索引。 2、...
  • hvkon
  • hvkon
  • 2012年07月22日 19:54
  • 705

大数据量中的模糊查询优化方案

对工作单使用 like模糊查询时,实际上 数据库内部索引无法使用 ,需要逐条比较查询内容,效率比较低在数据量很多情况下, 提供模糊查询性能,我们可以使用lucene全文索引库技术。本文示例是在SSH框...
  • sdksdk0
  • sdksdk0
  • 2016年09月19日 22:21
  • 3386

java处理大数据的一个优化解决方案

之前和大家提过我们公司现在在做一个手机应用商店的项目,之前测过平均每分钟有2000条请求,每秒就是50左右,现在肯定更多,数据量大的时候每秒有400~500条sql插入操作(记录用户行为,每个请求都会...

Hybrid移动应用在多页面大数据复杂业务背景下的优化实践方案

前言对于混合应用而言,性能问题一直被吐槽,虽然设备的内存的不断增大,很大程度上缓解了这个一问题,但是和原生应用来讲还是有很大区别,本人从Phonegap2.x开始,一直的探索和使用混合应用技术。当时的...

基于大数据量的缓存查询实现方案

业务、应用系统最常用的就是基于数据的查询,这不同于宏观意义上的系统各个层面优化(应用端、服务端、DB端等等),基于数据的查询更多时候需要考虑数据的规模、用户的习惯、数据的变化性等因素,但同时数据查询的...

大数据量数据库设计与优化方案

一、数据库结构的设计         如果不能设计一个合理的数据库模型,不仅会增加客户端和服务器段程序的编程和维护的难度,而且将会影响系统实际运行的性能。所以,在一个系统开始实施之前,完备的数据...

大数据的解决方案--------数据库优化

要解决数据量大的问题,是避不开数据库优化的。数据库优化可以在不增加硬件的情况下提高处理效率,这是一种用技术换金钱的方式。数据库优化的方法非常多。常用的有表结构优化,sql语句优化,分区和分表,索引优化...

存在汇总统计等功能的大数据量报表的优化方案

对于大数据量,多层分组的的汇总报表不能采用分页标签,可以采用如下的优化方案: 一、先初步对报表进行优化: 1、尽量在sql实现group分组,数据库虽然要进行分组运算,但是数据库中有索引,运算速度...

关系型数据库大数据性能优化解决方案之:分表(当前表历史表)、表分区、数据清理原则

原因和目的由于交易量大或者日积月累造成数据库的数据量越来越大。会导致系统性能大幅下降,所以要对部分业务的表数据作备份和清理减少数据量,来提升请求响应的速度,提升用户体验数据是否需要清理的阀值判断通常当...
  • defonds
  • defonds
  • 2016年08月18日 15:35
  • 5454
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:大数据查询优化方案
举报原因:
原因补充:

(最多只允许输入30个字)