数据库优化
文章平均质量分 60
水的精神
一件事,要么不做,要么做到极致。
展开
-
elasticsearch 单索引 6T 20亿 数据搜索实战与优化深度思考
我负责公司的检索平台的开发兼运维工作。 我们的场景是对互联网上的设备数据进行检索。数据量大概有20亿,对应的存储量大概有6T(不带副本的情况下)。单条数据会有上百个字段,用来刻画网络设备画像。 我们有比较特殊的需求:我们有频繁更新的需求,每天几千万,甚至上亿。 我们并不能做根据时间的滚动索引。因为后进的数据需要把前边的数据做覆盖。所以就没有办法做索引的生命周期管理。 我们有频繁的聚类搜索的需求。 我们想要基于这些数据,做到普通检索1秒以内,聚类检索3秒以内。写这篇文章的...原创 2022-01-20 01:07:51 · 5769 阅读 · 0 评论 -
linux测试系统磁盘读取速度
查看磁盘读取速度命令sudo hdparm -Tt /dev/sda运行结果: 我在服务器上测试的,服务器上是固态硬盘。每秒2221MB,也就是将近两个G/dev/sda: Timing buffered disk reads: 6666 MB in 3.00 seconds = 2221.36 MB/sec普通的磁盘速度/dev/sda: Timing buffered disk reads: 3870 MB in 3.02 seconds = 1279.52..原创 2021-12-19 01:35:18 · 2271 阅读 · 0 评论 -
数据库分库分表相关问题整理
我就不复制粘贴了,只放一个链接,我觉得这篇文章整理的很好。https://blog.csdn.net/Iperishing/article/details/87552180?depth_1-utm_source=distribute.pc_relevant.none-task&utm_source=distribute.pc_relevant.none-task...原创 2020-03-27 00:28:57 · 187 阅读 · 0 评论 -
MyISAM 和 InnoDB 索引实现
MyISAM索引实现MyISAM引擎使用B+Tree作为索引结构,叶节点的data域存放的是数据记录的地址。下图是MyISAM索引的原理图:这里设表一共有三列,假设我们以Col1为主键,则上图是一个MyISAM表的主索引(Primary key)示意。可以看出MyISAM的索引文件仅仅保存数据记录的地址。在MyISAM中,主索引和辅助索引(Secondary key)在结构上没有任...原创 2019-12-05 23:20:34 · 207 阅读 · 0 评论 -
B-Tree 和 B+Tree 实现原理,底层设计原理
平衡多路搜索树B树(B-tree) 二叉树,它的搜索时间复杂度为O(log2N),所以它的搜索效率和树的深度有关,如果要提高查询速度,那么就要降低树的深度。要降低树的深度,很自然的方法就是采用多叉树,再结合平衡二叉树的思想,我们可以构建一个平衡多叉树结构,然后就可以在上面构建平衡多路查找算法,提高大数据量下的搜索效率。B树(Balance Tree)又叫做B- 树(其实B-是由B-...原创 2019-12-05 23:16:32 · 2020 阅读 · 0 评论 -
一篇文章关于mysql的优化原理
https://dbaplus.cn/news-155-1531-1.html原创 2019-06-24 11:38:14 · 318 阅读 · 0 评论 -
Mysql主从复制应对高并发
千万级别,索引优化,SQL查询优化 这里有我之前写的一篇文章:https://blog.csdn.net/star1210644725/article/details/88615290分库分表会用到读写分离,因为使用不同的存储引擎,来分别应对读场景和写场景。那用到读写分离,就一定要用到主从复制,比方说我们需要向一个库里边写数据,另外一个库之读,这就考虑到数据同步的问题。再谈谈...原创 2019-06-20 16:59:57 · 1025 阅读 · 1 评论 -
MySql优化笔记
目录先看整体架构:MySql的优势所在(高内聚,低耦合)一张表对比两种引擎:SQL语句加载顺序JOIN的七种情况索引带来的优化索引的一些概念和用法SQL调优问题诊断SQL优化——避免索引失效数据库为什么会慢呢?先看整体架构:四层架构,先明白怎样干活的,干活的流程,然后才能知道要优化哪里。MySql的优势所在(高内聚,低耦合)...原创 2019-06-13 12:10:07 · 437 阅读 · 0 评论 -
如何定位到慢的sql语句
转发一个不错的文章https://jingyan.baidu.com/article/335530daeae52519ca41c37a.html原创 2019-06-12 21:35:46 · 1183 阅读 · 0 评论 -
详记一次MySQL千万级大表优化过程!
详记一次MySQL千万级大表优化过程!互联网编程JavaGuide今天原文地址:https://www.zhihu.com/question/19719997/answer/549041957问题概述使用阿里云rds for MySQL数据库(就是MySQL5.6版本),有个用户上网记录表6个月的数据量近2000万,保留最近一年的数据量达到4000万,查询速度极慢,日常卡...转载 2019-05-14 19:17:52 · 189 阅读 · 0 评论