2020/01/09 05-查询缓存和索引

最新推荐文章于 2021-12-23 11:11:51 发布
最新推荐文章于 2021-12-23 11:11:51 发布
阅读量180 收藏
点赞数
分类专栏： 44Python开发之MYSQL数据库(二)
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42227818/article/details/103911828
版权

在这里插入图片描述mysql有很多处理机制，很多线程，比如对用户发起的链接进行身份验证authentication，
限制最大连接数connection limit，
检查内存 check memory，
管理缓存caches，
线程重用thread reuse（线程在前面用户用完，不会销毁，会把用户的私有信息清理干净，再放到空闲线程中，供下一个来使用）

sqlinterface （检查用户执行的sql语句是否正确，如果正确，进入到parser解释器，sql转换，翻译成二进制指令，
其中设计到对象特权，权限是否可以执行进行检查）
在执行的时候还需要进行优化OPTIMIZER,可能在执行的时候有多种方式去实现，access paths 访问路径,
选择一条最优路线来执行，这个过程可以通过执行计划来看到
执行完后，用户就可以看到返回的客户端了

cache缓存 buffer缓冲，一般cache读，buffer负责写
读数据，数据先放到caches里
写数据，写的数据写放到buffer再写到磁盘上（没有buffer就是改一次写一次，有了buffer可以把多次写，先放到buffer，然后批量写到磁盘，可能有数据丢失的风险）

pluggable storage engines要把数据写到磁盘上就需要借助存储引擎，写到磁盘就需要和内核打交道，否则对文件系统没权限
在这里插入图片描述在这里插入图片描述用户发指令给数据库里的查询过程是如何实现的
用户在连接数据库后，查询东西，数据库不是马上去执行，而是查看查询缓存（缓存了以前先执行的sql语句内容）
但是有个要求，就是sql指令跟上次查询的时候，sql语句大小都一样，差一个字母都不行，因为使用哈希值比较的
程序员写代码规范就比较重要
（缓存如果命中就直接返回结果）
如果查询缓存没有的话，就需要发到解析器，这个解析器负责把指令转换成2进制，还需要查看是否有访问权限，
接下来是解析树，就是要得到数据，有多种路径，预处理器，选择最优路径，有可能还需要进一步修改语句的写法
修改他经过优化之后，进而去执行，执行计划，发送到存储引擎，进而得到数据，返回用户的同时放到查询缓存

如何启用查询缓存

为何要严格大小写，是因为查询缓存命中就是用的哈希hash算法，hash对数值进行hash，得到一个摘要值digest，摘要值多长就用hash算法，摘要值是定长的，算法不可逆推原来的值
在这里插入图片描述
数据不变摘要值不变
在这里插入图片描述在这里插入图片描述
缓存命中需要判断hash的，所以增加了使用门槛，降低了效率在这里插入图片描述查询缓存也会增加系统的负载，不是所有的命令都适合缓存的在这里插入图片描述
now（）直接返回系统时间，这个就没必要缓存在这里插入图片描述
sql_no_cache，如果加这个选项的化，sql语句就不会被缓存了，如果想要看一个大表，几十兆。就不要缓存，增加负担在这里插入图片描述把这个关键字一加就成临时表了
临时表一般都是临时处理数据的，用完就会自动删除
在这里插入图片描述
在这里插入图片描述
缓存相关的变量
在这里插入图片描述
缓存的最小分配单位，物理上在磁盘分配的最小单位是block块，较小的值可以减少浪费
在这里插入图片描述
多大就无法缓存了，既然缓存不了，就建议加sql_no_cache
在这里插入图片描述
整个查询缓存的可用的内存空间在这里插入图片描述
不能这么设置
在这里插入图片描述
可以不加单位，重启服务就丢了，是临时的在这里插入图片描述查看是否是服务器选项，服务器选项才能写入配置文件
是选项也是变量在这里插入图片描述
写100M试试
在这里插入图片描述在这里插入图片描述在这里插入图片描述
多个用户访问数据库，有可能一个在修改表，事务还没改完的数据叫脏数据，默认off，别人改数据，别人仍然能从缓存里访问在这里插入图片描述在这里插入图片描述在这里插入图片描述
如何直到缓存有效
在这里插入图片描述
有和查询缓存相关的状态变量在这里插入图片描述
剩下的空闲块
在这里插入图片描述
总的空闲内存
在这里插入图片描述在这里插入图片描述
向缓存区中添加新的缓存次数（意味这个select是新的）在这里插入图片描述
缓存放不下，也会淘汰，LRU最近最少使用算法在这里插入图片描述
访问次数越多，始终就是优先访问的在这里插入图片描述在这里插入图片描述
无法被缓存的sql语句
在这里插入图片描述
虽然没有结果也会把没有结果的信息缓存下来
在这里插入图片描述
不关心结果，只是关心的你的命令是否一样
在这里插入图片描述
命中率就是命中次数/总次数

加了空格就认为是不同 语句了
在这里插入图片描述
换大小写也是不命中的在这里插入图片描述在这里插入图片描述
(缓存总大小-剩余空间)/缓存中的记录数在这里插入图片描述在这里插入图片描述在这里插入图片描述在这里插入图片描述
利用索引大大改善磁盘读写性能，本身是个特殊的数据解构，在mysql叫key，键

索引的实现不是依赖于存储引擎的，而是数据库自身决定的，它的索引技术是差别很大的
能够花两次读取磁盘数据，就不要用10次，因为磁盘的速度是比较慢的
在磁盘上找数据，以前没有索引到处找，全表扫描，有了索引以后可以将数据按照一定的次序排序，排序完以后，可以快速的定位
索引本身缺点就是也要占用空间，有可能就会影响添加数据的速度，如果是写多读少，就可以考虑不加索引了

索引种类

在这里插入图片描述

B树索引
在这里插入图片描述
二叉树和B树有比较大的区别，二叉树最多两个分支，二叉树带来的问题是树的高度可能比较高，根节点，分支结点，叶子结点，最坏的结果是把所有的结点都找一遍才能找到，
在这里插入图片描述
平衡树就不一样，B-TREE，高度比二叉树矮很多，同样的数据放到二叉树可能分层的更多，放到B树里就矮胖，IO次数变少，查数据就方便，也是按照数据从小到大，每个索引页数均匀存放的，元素是三个，分支就是三个。
平衡树的缺点是每次查询效率可能并不一致，比如查17号，就一下子查到了，查28号就要到最下面才能查到
在这里插入图片描述

mysql用的索引是B+TREE索引，B+树索引，b=balance 平衡，根节点和分支节点不放数据，只放索引在这里插入图片描述
下面的叶子结点放数据
在这里插入图片描述
由于上面的根节点和分支结点只放索引，所以更加矮胖，重要的是，B+树还支持指针，相邻都有指针，带来的优势就是，找9号到30号，可以通过这个指针直接就找了，不用从跟部开始重新找，提高了速度
在这里插入图片描述用的最多的是B+tree
在这里插入图片描述
可以基于地理位置的搜索
在这里插入图片描述在这里插入图片描述
B+树的例子在这里插入图片描述在这里插入图片描述
B+树的特性，每个节点到根节点的距离是相同的，上面跟节点和分支结点本身不放数据只放索引，所有数据都在叶子节点，叶子节点距离跟的位置都是一致的，所以每次查询效率都是稳定的

sql语句写的不行。意味着B+树的特性无法用到

48N6E
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
2020-09-01 mysql 根据日期分组查询
Xx47585874的博客
09-01 167
根据日期分组查询 DATE_FORMAT(view_time,"%Y-%m") AS time from foots where is_delete = '1' and create_by = #{userId} GROUP BY DATE_FORMAT(view_time,"%Y-%m") 使用group by 查询字段与分组字段一致 SELECT b.* FROM ( SELECT t.*, DATE_FORMAT( t.view
敏感词过滤
weixin_46186045的博客
12-08 1273
敏感词过滤 主要内容： 前缀树 名称：Trie、字典树、查找树 特点：查找效率高，消耗内存大 应用：字符串检索、词频统计、字符串排序等 敏感词过滤器 定义前缀树 获取敏感词，根据敏感词，初始化前缀树 编写过滤敏感词的方法 实现功能： 传入字符串，过滤其中的敏感词字段，返回过滤后的字段和当前存在的敏感词集合 前缀树示例 1、假设有2个敏感词 ace bd，画出根节点，从敏感词中分析出第一层 2、继续分析后续字母，每一层对应敏感词第几个字母 3、在敏感词底层字母处做一个标记，遍历到中
Redis缓存查询数据（测试）
qq_41799291的博客
01-25 5321
案例：查询 如果redis有数据则使用redis数据 如果没数据则从mysql查 使用mysql的数据 然后存入redis 1.存单个对象 /** * * 单个对象缓存在redis * @param id * @return */ @GetMapping("/redis") public User redisTest(Long i...
使用同步代码块+双重判断解决redis缓存击穿问题
qq_42449963的博客
11-07 502
我写的程序里面有控制层、业务层、持久层，主要测试方法就是通过Student对象的id属性值，去redis中查询对象（student对象在redis是存储的key是studentKey），如果redis中没有这个对象，那就去数据库中查询相应的student对象，然后把这个对象放入redis中，下次查询的时候就直接从redis中获取就可以了，如果说一个线程来访问是没有问题的，但是如果考虑多...
索引缓存优点和使用
自由理想的足迹
12-05 8352
/*索引缓存的好处：  (1).减少了顶点缓存的顶点个数(不需重复顶点)。  (2).灵活修改图形形状(通过修改索引序列而不是顶点序列)。  (3).提高渲染runtime将多次用到的顶点数据放置在相近的地方Cache中(local reference)。*/ 1.创建顶点缓存 Device->CreateIndexBuffer(         36 * sizeof(W
IntelliJ IDEA 缓存和索引的介绍及启用/清理方法
m0_51527921的博客
12-23 5374
IntelliJ IDEA 缓存和索引的介绍及启用/清理方法
InnoDB的关键特性-插入缓存,两次写,自适应hash索引详解
02-24
InnoDB存储引擎的关键特性包括插入缓冲、两次写（doublewrite）、自适应哈希索引（adaptivehashindex）。这些特性为InnoDB存储引擎带来了更好的性能和更高的可靠性。插入缓冲是InnoDB存储引擎关键特性中最令人激动的...
建表规范丶SQL规范丶索引规范-word文档
03-28
通过遵循以上建表规范、SQL规范及索引规范，可以帮助数据库管理员和开发人员更高效地进行数据库设计、SQL语句编写及索引优化，从而提升数据库的整体性能和可维护性。这些规范不仅有助于确保数据库的稳定运行，还能...
MySQL缓存的查询和清除命令使用详解
09-10
MySQL查询缓存是一种提高数据库性能的技术，它存储先前执行过的SQL查询的结果，以便在后续请求相同查询时，可以直接从缓存中返回结果，而无需重新执行查询。这在处理大量重复查询并且数据变更不频繁的场景中尤其有用...
Django-缓存代码
qq_45510671的博客
05-18 193
django.core.cache里的缓存方法 @api_view(('GET',)) def get_district(request, distid): district = caches['default'].get(f'district:{distid}') if district is None: district = District.objects.filter(distid=distid).defer('parent').first() cac
计算机体系结构学习---Cache原理
fqcybf的博客
01-24 1491
一个地址而言，为cache分成了3个域段： 块偏移（offset）用于指示一个地址在Cacheline中的偏移； 索引（index）用于指示一个地址的内存分配在Cache的哪个组（Set）中；注意：Cache的每个Cacheline空间仅能存储的Cacheline限制为：地址中索引对应域段与此索引值相同那些Cacheline。 标志（tag）用于在每个组内来查找是否命中。 三种映射方式：直接映射，组相连，全相连。假设Cache的Cacheline数量为m，那么直接相连索引值位宽就是lg(m)，每个Cach
cache数据库之表的存储结构
Tomi_En的专栏
08-10 5048
1.我们已经建了一个person类，接下来就是表的存储结构 2.打开Inspector,先输入rowid名字为p_RowID,选class->Storage 3.新建一个Storage，选择CacheSQLStorage，在SqlIdExpression中输入$i(^mdata(“Person”)) 意思是设置Rowid为自增 4.Caché 以多维数组存储数据，所有数据都是保存Gl
Sqlite缓存及查询
qq_42809175的博客
01-16 1236
@SuppressLint(“StaticFieldLeak”) private void initData() { //做一个网络判断 if (!NetWork.isnetwork(MainActivity.this)) { Toast.makeText(MainActivity.this, “无网络”, Toast.LENGTH_SHORT).show(); //调用dao层查询方法 List...
这是一个火车售票管理系统_train-tickets.zip
08-25
这是一个火车售票管理系统_train-tickets
Run_self-driving_car_agents_in_GTAV_
最新发布
08-25
Run_self-driving_car_agents_in_GTAV_Universe_deepdrive-universe
基于Springboot和vue的 在线小说阅读平台源码 （优秀毕业设计源码）
08-25
1. 在线小说阅读平台代码说明：经导师指导并认可通过的98分毕设项目代码。 2.适用对象：本代码学习资料适用于计算机、电子信息工程、数学等专业正在做毕设的学生，需要项目实战练习的学习者，也适用于课程设计、期末大作业。 3.技术栈：前端是vue，后端是Springboot，项目代码都经过严格调试，代码没有任何bug！ 4. 作者介绍：大厂码农，java领域创作者，阿里云开发社区乘风者计划专家博主，专注于大学生项目实战开发，文章底部有博主联系方式，更多优质系统、项目定制请私信。 5. 最新计算机软件毕业设计选题大全: https://blog.csdn.net/weixin_45630258/article/details/135901374
基于java考研互助交流平台源码 考研互助交流平台代码（高分毕设项目源码）
08-25
1. 考研互助交流平台代码说明：经导师指导并认可通过的98分毕设项目代码。 2.适用对象：本代码学习资料适用于计算机、电子信息工程、数学等专业正在做毕设的学生，需要项目实战练习的学习者，也适用于课程设计、期末大作业。 3.技术栈：java，项目代码都经过严格调试，代码没有任何bug！ 4. 作者介绍：大厂码农，java领域创作者，阿里云开发社区乘风者计划专家博主，专注于大学生项目实战开发，文章底部有博主联系方式，更多优质系统、项目定制请私信。 5. 最新计算机软件毕业设计选题大全: https://blog.csdn.net/weixin_45630258/article/details/135901374
聚类算法实代码下载：完整代码，可直接运行 ；运行版本：2022a或2019b或2014a；若运行有问题，可私信博主； 现资源.m
08-25
代码下载：完整代码，可直接运行 ；运行版本：2022a或2019b或2014a；若运行有问题，可私信博主； **仿真咨询 1 各类智能优化算法改进及应用** 生产调度、经济调度、装配线调度、充电优化、车间调度、发车优化、水库调度、三维装箱、物流选址、货位优化、公交排班优化、充电桩布局优化、车间布局优化、集装箱船配载优化、水泵组合优化、解医疗资源分配优化、设施布局优化、可视域基站和无人机选址优化 **2 机器学习和深度学习方面** 卷积神经网络（CNN）、LSTM、支持向量机（SVM）、最小二乘支持向量机（LSSVM）、极限学习机（ELM）、核极限学习机（KELM）、BP、RBF、宽度学习、DBN、RF、RBF、DELM、XGBOOST、TCN实现风电预测、光伏预测、电池寿命预测、辐射源NLOS信号识别、地铁停车精准预测、变压器故障诊断 **3 图像处理方面** 图像识别、图像分割、图像检测、图像隐藏、图像配准、图像拼接、图像融合、图像增强、图像压缩感知 **4 路径规划方面** 旅行商
基于java个性化图书推荐系统源码 （优秀毕业设计源码）
08-25
1. 个性化图书推荐系统代码说明：经导师指导并认可通过的98分毕设项目代码。 2.适用对象：本代码学习资料适用于计算机、电子信息工程、数学等专业正在做毕设的学生，需要项目实战练习的学习者，也适用于课程设计、期末大作业。 3.技术栈：java，项目代码都经过严格调试，代码没有任何bug！ 4. 作者介绍：大厂码农，java领域创作者，阿里云开发社区乘风者计划专家博主，专注于大学生项目实战开发，文章底部有博主联系方式，更多优质系统、项目定制请私信。 5. 最新计算机软件毕业设计选题大全: https://blog.csdn.net/weixin_45630258/article/details/135901374
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值