oracle学习笔记 buffer_cache内存组织结构剖析



oracle学习笔记  buffer_cache内存组织结构剖析

这节课讲buffercache内存组织结构
讲到的概念有：
CBC
LRU
LRU里面又分LRU、MRU
LRUW
CHECKPOINT QUEUE检查点队列

一）buffercache内存组织结构

关于内存组织结构
在sharedpool里面讲过了
使用chain(链)管理
链下挂了很多内存块

内存中有多个链50个100个200个
根据sharedpool大小的不一样
oracle会自动去分配相关的链
然后把相关的内存块以某种规律挂到链上
我们要找某一个内存块的时候
先确认内存块应该在哪个链上
因为链的特点是串起来
既然串起来就是中间没有断的地方
就可以在链上找到链的头部
然后一个内存块的一个内存块的去遍历
可以一直把链遍历完
所以sharedpool里面内存块的特点是chain链

buffercache里面的内存结构也一样也是链

举例：
一排有三个同学
一共三排
就是三排三列的结构
比如想把第一列的同学链起来
在物理上实现
可以用根绳子绑住第一个再绑住第二个再绑住第三个
这样拿着绳子的头部
顺着绳子可以
先找到第一个再找到第二个再找到第三个
这就是传统意义上的链和遍历

在内存里面没有绳子绑
假如刚才的三个同学
我在第一个同学的后背上贴上一个地址
这个地址指向后面的同学
在第二个同学的身上
在前胸上贴上一个地址指向第一个前面的同学
在后背上贴上一个地址指向后面的同学
在最后一个同学的前胸上贴个地址指向第二个同学
这样我们并没有物理上用绳子把三个同学链起来
在每个块的前胸后背上分别贴上了前面同学和后面同学的地址
这时找到第一个同学以后
按地址可以找到第二个也可以找到第三个
第三个反过来可以找到第二个
第二个可以找到第一个

这就是我们内存里面所谓的链
chain链是一种结构一种组织方式
就是在每个块上写上前面和后面的地址
我们这个链叫双向链
向前可以走往后也可以走
因为在每个人身上贴俩地址
也可以单向链
单向链只有在后背上写地址只有往后面找
oracle里面一般都是双向链

oracle里面实现链就是在每个内存块里写上不同的内存地址

现在链了第一列的三个同学
根据的是它们的地理位置
也可以第二列的三个同学链起来
第三列的三个同学链起来
将来找的时候
我要找第一列的直接找就可以了
这个链的作用就是将物理上有规律的一些块（人）给链起来

不同的链有不同的意义

现在我想把男同学给链成一个链女同学链成一个链

比如第一排第一个同学a第二个同学b为女性
第二排第三个同学c为女性
第三排第二个同学d为女性

在a身上贴上b的地址
在b身上贴上a、c同学的地址
在c同学身上贴上b、d同学的地址
d身上贴上c同学的地址
这样也可以是一个链

当然男同学也可以链起来
这种链是按照人的性别去链的

要找女同学的时候找到上面的女同学链
找到第一个就会找到第二个第三个再找到第四个

不同的链不同的作用

在这九个人组成的结构体中可以同时有多种链
按地理位置链成三个链
将来按地理位置找时可以使用位置链去找
这时结构体中还有另外一种性别链
可以把所有的女生找出来
找时找到女生链按它的链走

也就是一个结构体中可以有多个链
每种链有每种链的作用
这么多链实现很简单就是在人身上贴地址就行
在人身上贴两个地址形成一个双向链
在人身上贴四个地址就属于两个双向链
贴六个地址它就可以属于三个双向链

oracle数据库里面内存组织结构都是通过链的方式
因为我们有很多内存所以需要组织结构

oracle内存结构中
有buffercache
其中有一堆内存
对所有内存来讲将来有很多需要找内存的情况
比如讲有十万个内存块
要从这么多内存块找内存块的时候
如果你不给它组织起来会非常麻烦简直不可用

第一确认内存块确实需要组织起来
不组织起来使用内存块的时候非常麻烦

第二内存块找的时候有各种各样找的方式
比如找那些脏块是种找的方式
因为DBWn需要把脏块找出来写到磁盘上
根据某个地址找也是一种方式
当然还有别的方式

比如这里内存块里面我要找干净的
干净意味着可用
第一找干净的块
第二找干净里面最近一段时间几乎没有被访问过的块
最近多少时间这个块没有被访问过就可以把这个块给扔掉了
然后从磁盘里面把别的block块调到这个buffer里面去
实际中有这个需求

所以说我们现在明白几个概念
buffercache这些块需要组织
需要组织我们就用链
我们知道不同的链有不同的意义
所以说我们看buffercache里面应该有多种链把内存块组织起来

二）CBC链

buffercache中第一种链CBC链
CBC:cache buffer chain

内存有buffercache，磁盘有dbf

在buffercache整个的占用内存中
buffercache里提前建了很多链，链是空的
内存另外一部分是已经被划分好的一个一个的块叫buffer
在dbf文件里面的块是block

这时oracle发出一个sql语句
要访问某个表的某个行
oracle经过计算以后发现
这个表的这个行在dbf的某个块里面
这时oracle把这个块调到内存里面去

如语句
select * from t2 where id=1;
要访问表t2中id=1的那个行
这时oracle经过计算以后发现这个行所在的块
块的地址是1号文件的第24个块
block块的地址有了

首先oracle做的第一个事情
根据块地址发现这个块应该在内存buffercache中的第二个链上
然后开始找，对第二个链进行遍历
发现第二个链是空的
或者2号链上有一些buffer但是没有我们需要的buffer
这时就会发生物理IO
在内存里面找到一个空闲buffer块
把dbf文件对应的块调到内存中写到这个buffer里面去

当写进去的时候oracle同时也会
把block块的头部拿出来挂到第二个链上
头部主要记的块的地址和块的类型这里是表类型
然后在块的头部新形成一个地址
直接指向buffercache中的那个同时写入的buffer块的地址

buffer cache中所有的chain连接的都是buffer header，而不是buffer本身
链通过在buffer header里保存指向前一个buffer header的指针和指向后一个buffer header的指针的方式实现
buffer header是buffer的头部，
主要保存指向buffer的指针既buffer实际的内存地址、一些关于该buffer header所在链的信息等
每一个block数据块在被读入buffer cache时，
都会先在buffer cache中构造一个buffer header，buffer header与数据块一一对应。

oracle第二次读的时候
select * from t2 where id=2;
读第二行的时候oracle经过计算后发现
要访问t2的第二行id=2的哪一行
发现这个块的地址是1号文件24号块
进过计算发现这个块应该在二号链上
它就找到二号链
对二号链所有的buffer header进行对比进行计算
发现有个buffer header它的块的地址和我们要找的块的地址是一样的
就根据这个buffer header找到这个buffer
然后从buffer里面找数据

oracle的buffer cache里面有一堆链
链的序号是按照block块的地址计算得到
每个链上挂的都是对block块地址进行计算得到值相同的块的头部
在链上挂上去的头部有对应block的地址
在进入内存时记录下了这个块对应在内存中的buffer的地址
而且加入链时
此头部会记下所在链的上一个和后一个的链成员（块头部）的地址这样就形成一个链组成单元
这堆链将整个的buffercache所有的数据块给链起来
将来根据block块地址要找buffer的时候找链就可以
这是根据地址将整个buffercache给链起来

将来oracle能够做到
你要访问某个表里面的某一行和某多行
oracle能够计算出你要访问的这些行在oracle的哪些块里面
能够计算出你要访问的block块的地址
而我们知道CBC链将buffercache里面所有的块按照块地址（在dbf中的地址）给链起来了
所以说我们就可以找到相应的链以后在链上去找
看看我们找的块在内存里有没有对应的buffer
没有的话发生物理io挂到这个链上

CBC链就是
以在dbf中block块地址的方式将buffercache里面所有的buffer链起来
它的作用是根据block地址找block的时候需要使用到，这时要跳转到CBC chain

三）LRU链

再看第二个链LRU链
LRU:least recent use最近最少使用

oracle实例有buffercache和dbf

我们要读某个块的时候
先到内存找，如果没有，我们来读dbf，
然后需要将dbf里面的block写到内存，就要找一个buffer

内存buffer的状态有几种
1、free从来没被使用过
2、clean干净的
   这个buffer对应一个block，俩内容完全一样是干净的
3、dirty脏的
   这个buffer对应着block
   但是这个buffer在内存里被修改了还没有写回到dbf中
   dbf中是旧数据，buffer中是新数据
   我们就认为这个buffer是脏的需要写回dbf，写回以后修改数据才能得到保存

找buffer时
有free buffer直接用就可以了因为里面什么都没有

如果有clean buffer也可以用
因为假设一开始此buffer和一个block对应两个的数据完全一样
把这个buffer数据覆盖掉，把新的block调到这个buffer使它和新的block对应也没有关系
因为磁盘还有一份和此buffer原来内容一样的block

有free最好，没有free有clean也可以

但是dirty不能被覆盖因为会造成和原对应block两个数据不一致
用新block覆盖掉会发生数据丢失

oracle数据库运行一段时间以后free非常少了几乎没有
几乎全部是clean

但是clean的有不同的使用情况
如有三个clean干净块
有一个经常被使用说明块的命中率很高
这时有一个第三个块几乎不被使用，特别是最近一段时间它几乎没有被用过
这三个块我们覆盖时应该先覆盖第三个块

oracle怎么知道到底该覆盖谁呢
可以这样，比如：buffercache有九个块
oracle根据地址已经串成了三个链是CBC链
同时有4个干净块
oracle根据最近最少使用原则将这四个块再串起来
其它5个块是脏的先不串它只串干净的
有一个最近最少被使用只使用了一次
其它三个干净块被分别使用2次3次4次
那么把它们串成LRU链
使用了1次的链在最前面然后再链上使用了2次的3次的4次的
被使用一次的叫冷端
使用次数多的叫热端

其实LRU上会链几种块
free的块和clean的块都有
暂时先认为LRU上链的是干净块

当我要找可用块的时候就找LRU这个链
先使用这个链的冷端，就是L端

热端是most端、M端
LRU是least recent used最近最少使用
MRU是most recent used最近最常使用
一个冷端一个热端

我们在LRU上找可用的块
从冷端找到一个buffer把它覆盖
这时对数据库的影响最小

这就是LRU
包括LRU MRU

四）LRUW链

LRUW:Least Recently Used Write
也叫做dirty list，也就是脏数据块链表

某个buffer header要么挂在LRU上，要么挂在LRUW上，不能同时挂在这两个链表上

LRUW上链的是脏块
把脏块串起来
因为我们知道oracle有个进程叫DBWn
它会周期性启动把脏块写到磁盘
DBWn要知道哪些块是脏的

上述例子中
9块buffer中有5块是脏的
如果你把五块串起来的话
DBWn就可以根据这个链找到脏块

假设
有一个块不但是脏的而且经常被使用经常被访问
如果把这个buffer块写到磁盘，此块变为干净状态
因为原block经常被使用
如果这时此buffer没有被其它block覆盖它也有可能马上又脏了
如果原buffer被其它block覆盖
这时会出现可能马上原block块马上又有一个对应的脏buffer

但是有其它一个块
它虽然是脏的但是最近很少被使用
如果把这个块写到磁盘的话，写到磁盘就干净了
干净的话就放到LRU上了
放到LRU上意味着它可以被覆盖了
这样挺好

但对第一个脏块来说
它脏不说而且最近经常被访问
如果我把它写到磁盘了把buffer挂到LRU上
原block可能马上又被修改了
它可能马上又脏了
或又生成一个对应的脏buffer被挂回到LRUW上了

这个时候
DBWn写的时候应该优先写这个脏的而且最近不怎么被经常访问的
所以说对脏块来讲
我们串的时候我们不但要串起来
也要按照最近最少脏最近最少被修改这个顺序被串起来
这样的话
我们DBWn写的时候才最有意义

也就是DBWn可以把
最近最少使用的脏buffer写到磁盘上了
然后挂到LRU上了

第一它被覆盖影响不大
第二因为它最近最少很少被访问
所以可以长时间在LRU上呆着

LRUW是为DBWn用的
LRU是我需要将磁盘的block调到内存的时候找空块可用块的时候找LRU
CBC根据block块地址找buffer的时候用
三个链有三个不同的作用

五）CKPTQ链

CKPTQ:CHECKPOINT QUEUE检查点队列

它也是将脏块链起来

LRUW将脏块链起来它是按照脏块被脏的频率去链的
检查点队列链的时候链的顺序不一样
它按照这个块第一次脏的时间点链起来

假设3*3矩阵中
有三个脏块
有一个脏块第一次被脏的时候是12:01分
有一个被脏的时候是12:02分
另一个被脏的时候是12:03分
check point队列按第一次被脏的时间点给它链起来

12:04分的时候12:01分被脏的块又被脏了一次
这时候这个块也不会挂在12:03分脏块的后面
因为check point队列是
1、脏块
2、是按照脏块第一次被脏的时间点链起来的

这节我们从理论上讲了buffercache内存组织结构
回顾：
首先
buffercache里面的buffer大小都一样
不像是sharedpool中chunk大小不一样
第二
buffercache中专门有一个内存结构链
链指向buffer

2016年9月25日
    文字：韵筝