CMU Advanced DB 课程笔记#1：传统DBMS读取操作原理和内存模型以及In-memory DBMS的改进

最新推荐文章于 2022-05-16 21:22:13 发布
最新推荐文章于 2022-05-16 21:22:13 发布
阅读量970 收藏 1
点赞数 2
分类专栏： DBMS 文章标签： DB 数据库 In-memory DBMS
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_31027515/article/details/90756331
版权
本文是CMU高级数据库课程笔记，探讨了传统Disk-oriented DBMS的读取操作和内存模型，以及In-memory DBMS的改进。分析了Disk-oriented DBMS的数据读取流程，包括Buffer Pool管理和日志恢复机制。同时，介绍了In-memory DBMS的数据组织形式、索引和查询优化策略，以及其日志和恢复机制的不同。
摘要由CSDN通过智能技术生成

CMU Advanced DB 课程笔记#1：传统DBMS读取操作原理和内存模型以及In-memory DBMS的改进

CMU Advanced DB 课程笔记#1：传统DBMS读取操作原理和内存模型以及In-memory DBMS的改进

        数据库管理系统被创建之初，硬件设施是很简陋的，当时的CPU只有一核，RAM严重不足，数据库需要被存在硬盘中去，并且访问硬盘的速度极其的慢，当时数据库很大一部分都是在做将数据从硬盘和内存之间来回移动的工作。

        但是现在DRAM的存储空间越来越大，许多数据库都可以直接被放进内存中去（除了数据仓库等等），所以频繁访问硬盘所造成的低性能已经不能忽视了，In-memory DBMS开始兴起。

Disk-oriented DBMS介绍

读数据操作

        Disk-oriented DBMS:数据库的主要存贮地方是非易失性存储器（non-volatile storage）比如磁盘或者固态硬盘。当系统需要读取数据的时候，DB总是假定数据不在内存中，而在磁盘中，DB需要从磁盘中拿数据。

       数据库在磁盘中由固定大小的slotted pages组成，pages里面包含存入的数据（tuple）。当数据从磁盘中取出的时候，我们先把数据放在In-memory buffer pool中缓存起来。

       In-memory buffer pool是数据库直接操作的对象，我们对buffer pool处理过后，数据才会被写到磁盘中。buffer pool manager负责数据在磁盘和内存之间的移动

最低0.47元/天 解锁文章
importsys
关注
专栏目录
CMU Advanced DB 课程笔记#2：数据库工作负载和数据库事务模型
importsys的博客
06-06 2368
CMU Advanced DB 课程笔记#2：数据库工作负载和数据库事务模型CMU Advanced DB 课程笔记#2：数据库工作负载和数据库事务模型数据库工作负载：数据库事务（Transaction简称为Txn）：Transaction Model：Flat Txns:Flat Txns+ Savepoints：Nested TxnsChained Txns：Compensating Txns...
In-Memory DBMS 『Peloton』技术简述
乌云压顶是吧
12-05 474
本文为Relaxed Operator Fusion for In-Memory Databases: Making Compilation, Vectorization, and Prefetching Work Together At Last[Menon, P. et al. 2017]的简述
CMU Advanced DB System - Query Optimizer
weixin_30443731的博客
07-22 254
Overview Optimizer模块所处在的位置如图， 那么做optimize的目的是， 找出所有‘correct’执行计划中‘cost’最低的 那么这里首先要明确的概念，‘correct’，关系代数等价，产生相同的结果集；所以所有优化的前提是需要是等价变换 但是等价集合，即所有等价的执行计划的集合，会非常大，所以这个问题是如果要穷举会是NP-Complete问题；所以...
2021.08.11 CMU DB 15-445: [Project1] buffer pool
Nemoxy的博客
08-15 1236
Build流程 进入bustub文件夹。 先装所有可能用到的包，包括googletest什么的 $ sudo bash build_support/packages.sh 创建build文件夹，cmake创建CMakeFile，结束后build文件夹里会出现很多文件，注意此时外面的 CMakeList.txt 不可修改，否则要重新build 参考官方https://github.com/cmu-db/bustub $ mkdir build $ cd build $ cmake .. 因为我们
2021 CMU DB 15-445: [Project2] Hash Index
Nemoxy的博客
05-16 861
做了11天，思路不难，就是小错误恶心人。建议以后所有lab快点写出来，然后花3~4倍时间debug… 主要说一下3个部分写点啥，directory与bucket在整体哈希表中作用是什么，还有一些坑点。 hash_table_directory_page 一个directory是一个Page directory_page的key-to-bucket_page_id原理 directory的作用是根据key的hash找到对应的bucket_page对象，再进行其他serach or insert otr rem
CMU-MultimodalSDK:CMU MultimodalSDK是一个机器学习平台，用于开发高级多峰模型以及轻松访问和处理多峰数据集
05-13
因此，SDK包含两个模块：1）mmdatasdk：使用计算序列下载和处理多峰数据集的模块。 2）mmmodelsdk：利用复杂神经模型以及用于构建新模型的层的工具。 先前论文中的融合模型将在这里发布。 这里的所有数据集都是...
CMU-15-445：CMU的数据库系统课程
02-04
1. **关系模型**：关系模型是数据库理论的基础，课程会讲解E-R模型（实体-关系模型）、关系代数、关系演算等，以及SQL语言的使用，使学生能够熟练创建、查询和更新关系型数据库。 2. **数据库设计**：良好的数据库...
CMU-18799-Evolutionary-Algorithm:CMU ECE研究生课程
06-22
【CMU-18799-Evolutionary-Algorithm】：这是卡内基梅隆...通过这门课程，学生不仅会掌握进化算法的原理和应用，还能提升使用Python进行科学计算和问题解决的能力，为未来在科研或工业界从事相关工作打下坚实的基础。
【Oracle】ORACLE 12c DB In-Memory简述及启用
badly9的专栏
11-08 6107
Oracle DB In-Memory是预装在Oracle Database 12c（12.1.0.2之后的版本）中的，不需要安装其他软件或者是重新编译现有的的数据库软件。这是因为In-Memory选项是作为SGA的一个新组件无缝集成在Oracle Database软件内核中的，所以如果Oracle Database已经安装，则Oracle DB In-Memory同时也已安装。In-Memory
InMemoryDb:一些帮助类使用存储在磁盘和内存中的 Android 数据库
06-26
内存数据库 一些帮助类使用 Android 数据库存储在磁盘和内存中（可选）。 您可能对感兴趣，它可以根据数据库字段的 JSON 定义生成所有数据源代码。 它甚至可以为您生成一个 Content Provider 或一个CursorLoader 。 原则 异步系统由两部分组成： 可以是 SQLite 数据库或内容提供程序的DataSource 。 处理所有异步调用的AsynchronousDbHelper类。 即使有多个数据库，所有异步读/写/查询调用都在您的应用程序的单个线程中完成。 数据源 SqliteDataSource ：一个基本的 SQLite 数据库。 SqliteMapDataSource ：读取/写入键/值而不是平面项目的 SQLite 数据库。 ContentProviderDataSource ：基于 Uri 的内容提供程序源，用于读/写元素。 它们都使用
【Oracle】Oracle 12c DB In-Memory入门实验手册（一）
badly9的专栏
11-09 4540
该手册实验基础要在实例级别启用IM column store，开启方法参考上篇文章： 链接：http://blog.csdn.net/badly9/article/details/49724983 （一）基础篇 1.对objects开启IM column store 对于objects我们可以使用In-Memory clause来指定是否使用IM column store。这个参数我们可以
关于DB In-Memory Option你必须知道的17个问题
cssja0232的博客
08-07 213
Oracle数据库内存（Oracle Database In-Memory）选件于美国时间6月10日发布。根据甲骨文中国的报道，选件进一步增强了Oracle数据库12c的威力，而且可以透明运行，使企业...
in memory db 使用讨论。
wulinux
11-26 333
我们单位的一个表里有大概1000万条数据。 但这个数据库非常的慢，而我们现在有几个系统要经常的从里面导入全部的数据出来进行数据分析。 我们现在的想法是 在in memory db 的数据库里做一个表。把全部的源数据一次的导入到里面（计划是 每天做一次数据reload）。 其他的系统的就从这个In memory DB 里读。 用了几个In memory DB ，但性能都一般 （h2,derby 等...
cmu15445 Intro to DB 2. Advanced SQL
wineandchord
05-14 166
默认是升序 55：35
【CDP-云设计模式】第7章，3.内存中DB缓存模式（Inmemory DB Cache Pattern）
品高云邱洋的云知识分享
08-15 597
要解决的问题：大部分的数据库工作负载在于读数据。由此，可以通过提升数据库的读取性能来全面提升系统性能。
Oracle 12C In-Memory特性研究
热门推荐
Kay的博客
02-06 1万+
Oracle 12C In-Memory特性研究一、Oracle In-Memory1.1 In-Memory 开启方法1.2 开启与关闭IM column store1.3 inmemory优先级调整1.4 加载对象到IM二、In-Memory测试2.1 全字段查询2.2 索引字段比较测试2.3 批量update测试2.4 大批量insert测试2.5 大量delete测试2.6 压缩方式测试2...
In-Memory：内存数据库
weixin_34226706的博客
04-16 269
在逝去的2016后半年，由于项目需要支持数据的快速更新和多用户的高并发负载，我试水SQL Server 2016的In-Memory OLTP，创建内存数据库实现项目的负载需求，现在项目接近尾声，系统运行稳定，写一篇博客，记录一下使用内存数据库的经验。 SQL Server 2016的In-Memory OLTP，通俗地讲，是内存数据库，使用内存优化表...
数据库中常说的steal和force到底是什么
Singularinty的博客
06-20 1万+
 时长在看一些database paper的时候看到steal和no-force的字样，深入了解了一下，发现我们平时关注的redo log个undo log都是有渊源的，什么时候需要redo log，什么时候需要undo log，什么时候两者都需要。英文好的可以直接去看上面的wiki，不好的可以看我总结的大白话吧。steal/no-steal:      是否允许一个uncommitted的事务将...
CMU 15-411编译器设计课程：体系结构与目标
"CMU 15-411 编译器设计讲义涵盖了编译器设计的基础和实践课程，由Frank Pfenning教授主讲，旨在让学生深入了解编译器的工作原理和关键组成部分。课程强调的是低层次和系统层面的编译技术，而不是高级语言特性，如...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值