阅读笔记-MySQL索引原理及慢查询优化
1. mysql的索引的实现原理
读文章弄清楚索引的数据结构b+树及其查找过程
2. 建索引的几大原则
1.最左前缀匹配原则,非常重要的原则,mysql会一直向右匹配直到遇到范围查询(>、<、between、like)就停止匹配 ,比如a = 1 and b = 2 and c > 3 and d = 4 如果建立(a,b,c,d)顺序的索引,d是用不到索引的,如果建立(a,b,d,c)的索引则都可以用到,a,b,d的顺序可以任意调整。
2.=和in可以乱序 ,比如a = 1 and b = 2 and c = 3 建立(a,b,c)索引可以任意顺序,mysql的查询优化器会帮你优化成索引可以识别的形式
3.尽量选择区分度高的列作为索引 ,区分度的公式是count(distinct col)/count(*),表示字段不重复的比例,比例越大我们扫描的记录数越少,唯一键的区分度是1,而一些状态、性别字段可能在大数据面前区分度就是0,那可能有人会问,这个比例有什么经验值吗?使用场景不同,这个值也很难确定,一般需要join的字段我们都要求是0.1以上,即平均1条扫描10条记录
4.索引列不能参与计算,保持列”干净” ,比如from_unixtime(create_time) = ‘2014-05-29’就不能使用到索引,原因很简单,b+树中存的都是数据表中的字段值,但进行检索时,需要把所有元素都应用函数才能比较,显然成本太大。所以语句应该写成create_time = unix_timestamp(‘2014-05-29’);
5.尽量的扩展索引,不要新建索引 。比如表中已经有a的索引,现在要加(a,b)的索引,那么只需要修改原来的索引即可
3. 慢查询优化基本步骤
- 先运行看看是否真的很慢,注意设置SQL_NO_CACHE
- where条件单表查,锁定最小返回记录表。这句话的意思是把查询语句的where都应用到表中返回的记录数最小的表开始查起, 单表每个字段分别查询,看哪个字段的区分度最高
- explain查看执行计划,是否与1预期一致(从锁定记录较少的表开始查询)
- order by limit 形式的sql语句让排序的表优先查
- 了解业务方使用场景
- 加索引时参照建索引的几大原则
- 观察结果,不符合预期继续从0分析
4. 简单总结,方便记忆
- 索引左匹配等原则(从数据结构和查找算法理解)
- explain row 分析(列的区分度)
- 仅从语句下手不行就从业务下手分析
- 关于排序和分类 — mysql的nested loop机制
- 不要只针对具体case来优化,而忽略了更复杂的情况(需要更多的分析+测试)
5.理论要扎实,不要混日子
同样是MySQL,可以用来支撑Google/FaceBook/Taobao应用, 但可能连你的个人网站都撑不住。 套用最近比较流行的话:”查询容易,优化不易,且写且珍惜!”
6. 其他
如果你不太理解区分度公式
select count(*),accurate_result from stage_poi group by accurate_result;
+----------+-----------------+
| count(*) | accurate_result |
+----------+-----------------+
| 1023 | -1 |
| 2114655 | 0 |
| 972815 | 1 |
+----------+-----------------+
只需要理解上面这个情况,accurate_result 所能过滤的数据很少, 加上索引也无法锁定特别少量的数据。
参考
http://blog.jobbole.com/86594/
https://en.wikipedia.org/wiki/B%2B_tree