Rain1024的博客

更多技术文章可以访问我的个人博客 www.rain1024.com

关于MySQL百万级数据量查询的优化(PHP版)

关于MySQL百万级数据量查询的优化(PHP版)

最近在开发一个销售数据统计的网站时,客户提供的数据量在百万级以上,这些数据作为基础数据,从中提取,组合出各种类型的字段进行计算汇总,之前没有遇到过这么大的数据量。开始只是用最普通的方法来查询,当测试数据有19万条的时候,整个查询数据异常的慢,完全查询的汇总甚至要两分多,自此开始了各种优化。

1. 程序的优化

以最简单的一张表,需要汇总计算出二十多种数据,查询条件就是上传数据的日期,一开始打算用for,每个数据汇总都用一遍for,当计算到第三个数据,直接就崩了,所以只好构建一个复杂的算法,将二十多种数据的查询全部放在一起,时间复杂度立马降低,但全部查询仍需要2分钟,然后减少数据表查询结果获取到的字段数,尽量只要关键的几个。但这些,都无太大卵用

2. 最关键的到了,优化数据库,

1. 我首先将数据表的字段大小都进行了修改,以前都是用默认的char(255),现在全部根据大小改到varchar(20),关于char和varchar的区别网上有很多说法,这里不进行叙述,

2. 还有能用数字就不用字符,因为MySQL中数字只对比一次,而字符串会一个一个的对比,

3. 删除掉包含汉字的字段,尽量使用id代替,

4. 为某个经常查询的字段设置索引

经过这些优化,速度提升很多了,我在查看网上方法的时候发现,越来mysql的查找是从头开始找,越在后面的数据,查找到的时间用的就越长,这个我测试了一下,查询第三天的要2秒,第五天的就4秒,所以我想出一个新的办法,每次上传数据时记录下起始位置,查找的时候直接去指定位置查,简直一查就准,第五天的数据0秒查完,简直是无敌的方法,但它也有局限性,数据最好固定,不然会打破位置范围造成数据丢失。下面是我测试的结果

300天的数据(包含9天有效的):2分22秒

10天的数据(包含9天有效的):26秒

优化sql字段大小类型后,10天的数据(包含9天有效的):24秒

优化sql字段大小类型后,300天的数据(包含9天有效的):51秒

加索引后的300天数据:2分28秒

优化sql字段大小类型后,加索引后的300天数据:26秒

优化sql字段大小类型后,加索引后的10天数据:24秒

优化sql字段大小类型后,加索引后,指定查找的位置,查找某一天数据,0秒,原本两秒,不加索引,不优化4秒

阅读更多

扫码向博主提问

去开通我的Chat快问

rain_web

非学,无以致疑;非问,无以广识
版权声明:本文为博主原创文章,想转就转,知识,谁学到就是谁的 https://blog.csdn.net/rain_web/article/details/80351320
想对作者说点什么? 我来说一句

没有更多推荐了,返回首页

不良信息举报

关于MySQL百万级数据量查询的优化(PHP版)

最多只允许输入30个字

加入CSDN,享受更精准的内容推荐,与500万程序员共同成长!
关闭
关闭