数据与数据库
文章平均质量分 89
在学习数据库的时候做一些笔记
LG_985938339
长沙理工大学机械毕业,目前深圳从事java工作,努力进大厂
展开
-
大数据架构演变
(其实我觉得大部分应该都是这样,短链路处理就是实时链路,长链路处理就是实时数仓,对于后端开发人员来说,尤其微服务架构化之后,同一链路的各种数据处理应该都是按功能分配在不同的服务中,而服务与服务之间的数据传递,就需要用到kafka,实际这就已经类似于实时数仓了)上面的实时链路没有对中间结果进行保存,当有大量的实时需求需要开发时,需要尽可能的对中间结果进行复用,以此来提交效率,因此需要把这些中间结果保存起来,使用kafka作为实时数仓。对于批处理任务,还是使用原有的传统离线架构不变,支持高性能的离线批处理。原创 2022-08-22 19:47:12 · 1341 阅读 · 3 评论 -
MySQL索引优化实战
联合索引、Online DDL原创 2022-07-27 15:51:31 · 835 阅读 · 0 评论 -
pg分区表的实践
pg分区表实践原创 2022-04-16 18:45:03 · 2229 阅读 · 2 评论 -
使用kettle的数据库增量备份与全量备份
使用kettle的数据库增量备份与全量备份背景单表对主表的全量备份使用update_time的增量备份使用Kettle Spoon的注意事项背景单表对主表的全量备份使用update_time的增量备份使用Kettle Spoon的注意事项...原创 2022-04-12 18:48:45 · 3177 阅读 · 3 评论 -
MySQL的锁超时与死锁自动检测机制
MySQL的锁超时与死锁自动检测机制一、创建两张student和teacher表二、死锁检测示例三、锁超时示例一、创建两张student和teacher表SET NAMES utf8mb4;SET FOREIGN_KEY_CHECKS = 0;-- ------------------------------ Table structure for t_student-- ----------------------------DROP TABLE IF EXISTS `t_student`原创 2021-08-15 15:59:46 · 653 阅读 · 0 评论 -
MySQL笔记(六)MySQL间隙锁的加锁规律
MySQL笔记(六)MySQL的锁机制及使用场景MySQL的锁机制及使用场景在下面的场景中的时候,我们总是需要使用到MySQL的锁MySQL的锁机制及使用场景原创 2021-08-07 14:14:49 · 901 阅读 · 0 评论 -
MySql 笔记(五)InnoDB引擎页分裂与页合并的原理
MySql 笔记(五)InnoDB引擎页分裂与页合并的原理一、文件表(File-Table)结构二、根,分支与叶子三、页的内部原理四、页合并的原理五、页分裂的原理六、主键的使用七、总结八、致谢这篇文章是在知乎上见过的关于页分裂和页合并原理的很好的文章,有助于帮助我们了解MySQL及InnoDB的底层实现原理,搬运过来记录一下,也以便于以后的复习和回顾。原文标题:InnoDB Page Merging and Page Splitting原文链接:https://www.percona.com/blog转载 2021-07-24 15:03:09 · 1986 阅读 · 0 评论 -
MySql 笔记(四)Mysql事务的提交及底层实现原理
MySql 笔记(四)Mysql事务的提交及底层实现原理写在前面事务的提交Mysql的隔离级别以及mvcc的原理在写这篇博客的时候,也有在网上翻阅大量的资料,CSDN、知乎等平台,花了一个多星期去理解和掌握这些知识,在网上确实也有些文章写的也有很多不一样的地方,很多文章都是有错误的,我们需要对这些文章有自己的判别,还是要结合自己的看法来。然后包括自己要组织语言写起来,也是要重新去翻阅很多其他的资料。下面算是一些总结,加上自己的一些理解吧。写在前面在网上有一个总结的很好的一句话,在这里记下来:事务的原创 2021-04-16 22:37:56 · 1737 阅读 · 2 评论 -
MySql 笔记(三)主从复制、持久化及集群数据一致性
MySql 笔记(三)主从复制、持久化及事务的底层实现原理主从复制持久化Mysql的隔离级别以及mvcc的原理在写这篇博客的时候,也有在网上翻阅大量的资料,CSDN、知乎等平台,花了一个多星期去理解和掌握这些知乎,在网上确实也有些文章写的也有很多不一样的地方,包括自己要组织语言写起来,也是要重新去翻阅很多其他的资料。下面算是一些总结,加上自己的一些理解吧。主从复制小数据量的时候我们一般使用Mysql都是单机的,而当数据并发量过大时单机就会承受不住这么大的压力,从而使的Mysql宕机,并且单机也并不能原创 2021-03-29 22:46:37 · 869 阅读 · 1 评论 -
MySql笔记(二)分析sql语句
MySql 笔记(二)explain的使用explain的使用使用EXPLAIN关键字可以模拟优化器执行SQL语句,有助于我们来分析sql语句的执行过程。首先,在这里先建立一个students表,id为主键、name、age均为索引。如下所示,在普通sql语句前加上explain便能够执行sql语句的分析了:那么,我们可以分析以下这些参数的作用:id 对于不同的table,id值越大,代表被查询的优先级越高,如嵌套查询,子查询优先select_type 从上到下效率依次原创 2020-12-15 18:56:00 · 512 阅读 · 0 评论 -
MySql笔记(一)基础及索引原理
MySql 学习磁盘的存储原理索引中的数据结构MyIsam和Innodb引擎Innodb中的各种索引一些问题磁盘的存储原理以机械硬盘为例,数据是存储在盘片上的,当MySQL应用程序调用内核提供的IO函数进行IO操作时内核会找到对应的驱动程序驱动磁头,由于不同的数据也可能分布不同磁道的不同扇区上,因此,需要驱动磁头进行寻道,找到对应的位置扫描数据,把对应的数据加载到内存中,这也是一次IO操作的大概流程,而进行寻道操作便是这次操作最为耗时的部分。MySQL的innodb中有一个参数叫做innodb_pa原创 2020-12-09 21:34:36 · 209 阅读 · 0 评论