【转】 关于Freelists和Freelist Groups的研究（修订版）

 

本文来自CSDN博客，转载请标明出处：http://blog.csdn.net/Kamus/archive/2005/03/09/315317.aspx

 

一．   什么是freelists
本文在于探讨Freelists和Freelist Groups的作用，存取机制，争用诊断和优化方法，同时通过理论和测试来推翻一些存在了很久的错误观点。本文的读者应该具有较深入的Oracle知识，对于一般的开发人员这篇文章可能并没有太多的帮助。
我们知道Oracle数据库的读取单位是数据块（Block），而一个Block是否允许被写入数据是基于一定的空闲度，这就是大家知道的pctfree和pctused存储参数设置。
假设pctfree=10, pctused=40，这就表明当一个Block的空间使用率达到了90%（100-pctfree）时，这个block就不再允许被用于新增数据（insert），而保留下来的这10%的空间则被预留为行更新（update）所可能需要的空间扩展，我们说此时这个block就从freelist上被摘走了（实际上还有另外一种情况，就是当块剩余空间不足以插入一条记录并且该块的使用率已经超过了pctused定义的值并且该块位于freelist header处时，该块也会从freelist上被摘走，术语称为UNLINK）。当有数据删除（delete）的时候，只有该block中的数据被删除到一定的程度，该块才会重新被加入到freelists中，而这个程度就是pctused参数定义的数值，如我们这个例子中，只有块中的数据降低到40%以下的时候，该块才被重新允许用于新增数据。
通过上面的描述，可以知道所谓freelists，就是一个指定了所有可以用于insert操作的数据块的列表。存在在这个列表中的数据块才能用于insert操作，一旦一个数据块无法用于insert（达到了pctfree参数指定的限度）则立刻从这个列表中被摘除。freelists的作用就在于管理高水位标志（HWM）以下的空闲空间。
注意：freelists只是管理高水位标志以下的空闲空间，而实际上一个segment可用的空闲空间包括两种类型：
1．  已经分配给这个segment但是从来未被使用过的位于高水位标志之上的blocks
2．  位于高水位标志之下，被链接在freelists上的blocks
 
至于freelist groups的概念和作用，在下面的章节适当的地方会解释。

 

二．   freelists是否已经过时
随着Oracle9i的推出，对于空闲块的管理变得更加智能和有效率了。在LMT（Locally Managed Tablespaces）中如果指定了ASSM（Automatic Segment Space Management），那么对于任何pctused，freelists，freelist groups存储参数的指定都将被忽略。创建ASSM表空间的方法如下：
 
CREATE TABLESPACE lmtbsb DATAFILE '/u02/oracle/data/lmtbsb01.dbf' SIZE 50M
    EXTENT MANAGEMENT LOCAL
    SEGMENT SPACE MANAGEMENT AUTO;
 
ASSM得益于使用位图（bitmaps）来管理段中的空闲块，至于具体是如何管理的，那又是另外一篇文章了。
就此意义上来说，对于freelists的探讨确实可能已经有些过时了，但是首先并不是所有的数据库现在都已经升级到了Oracle9i，甚至在最需要调整的一些大型应用上往往都由于业务的稳定性而不愿意冒升级到新版本的危险；其次即使是新的应用使用了Oracle9i数据库，如果数据库管理员在创建表空间的时候没有明确指定SEGMENT SPACE MANAGEMENT AUTO，那么默认情况下仍然会使用Freelists和Freelist Groups来管理Free Block。
所以，在仍然存在有大量Oracle8i数据库和非自动段空间管理表空间的现在，对于freelists的研究仍然具有很实际的意义，而由于默认的freelists和freelist groups又都只有1，所以又恰恰是高负载的应用中最需要调整（Tuning）的部分之一。

 

三．  freelists存储在哪儿
freelists存储在每个segment的header block中，我们可以通过dump来得到更清楚的认识。dump在研究oracle的内部机制时通常都扮演着很重要的角色。
假设我们创建一个表空间TS_TEST，此表空间是非自动段空间管理的，然后在该表空间中创建T_MANUAL，T_MANUAL_FREE2，T_MANUAL_FREEGROUP2三张表。这三张表的freelists和freelist groups设置如下。
 
SQL> select SEGMENT_NAME,SEGMENT_TYPE,FREELISTS,FREELIST_GROUPS from USER_SEGMENTS where TABLESPACE_NAME='TS_TEST';
 
SEGMENT_NAME         SEGMENT_TYPE        FREELISTS FREELIST_GROUPS
-------------------- ------------------ ---------- ---------------
T_MANUAL             TABLE                       1               1
T_MANUAL_FREE2       TABLE                       2               1
T_MANUAL_FREEGROUP2  TABLE                       4               2
 
则可以参照下面的方法对segment header block进行dump操作。
首先先从数据字典中得到存储这个segment的文件号和此segment的第一个block号（也就是segment header block）
 
SQL> select FILE_ID,BLOCK_ID from dba_extents where segment_name='T_MANUAL';
 
   FILE_ID   BLOCK_ID
---------- ----------
         7          9
 
使用dump命令转储这个block的内容，转储的结果将保存在初始化参数user_dump_dest指定的目录中。
 
SQL> alter system dump datafile 7 block 9;
 
System altered
 
查看user_dump_dest目录中的相应trace文件，我们可以看到包含如下几行：
frmt: 0x02 chkval: 0x0000 type: 0x10=DATA SEGMENT HEADER – UNLIMITED
表示这个block正是segment header block。
#blocks in seg. hdr's freelists: 2    
#blocks below: 2
表示位于freelist中的数据块有2个，在高水位标志（HWM）下的数据块也有2个。
SEG LST:: flg: USED   lhd: 0x01c0000a ltl: 0x01c0000b
由于我们dump的是TS_MANUAL表的header block，而这张表的freelists=1，所以在dump文件中看到只有一个seg lst，这个freelist被称为segment free list或者master free list，每个segment都至少有一个而且只有一个master free list（当然是在非自动段空间管理类型下）。
flg（flag）表示该freelist是否被使用
lhd（list header）表示位于该list中的第一个可用block的dba（Data block address）
ltl（list tail）表示位于该list中的最后一个可用block的dba，这个block必定位于HWM之下。
此时我们可以发现freelists只是记录了这个segment中空闲块的第一个块地址和最后一个块地址，在第一个空闲块的块头处（block header）记录了它之后的下一个空闲块的地址，而下一个空闲块又记录了再下一个空闲块的地址，由此依次记录，一直到最后一个空闲块。Oracle通过这种链表的方式实现了freelists对于空闲块的管理。
 
注意：每次当一个block被加入到free list中时，该block会被放置在free list的链表头部。
 
同样我们可以dump第一个空闲块来验证上面的链表说法。
比如在lhd部分记录的dba是0x01c0000a，这是一个16进制的数，首先转化为10进制，于是得到29360138。然后通过oracle提供的两个函数将块地址转化为可以供我们使用的文件号和块号，以便于我们进行dump操作。
 
SQL> select dbms_utility.data_block_address_file(29360138) from dual;
 
DBMS_UTILITY.DATA_BLOCK_ADDRES
------------------------------
                             7
 
SQL> select dbms_utility.data_block_address_block(29360138) from dual;
 
DBMS_UTILITY.DATA_BLOCK_ADDRES
------------------------------
                            10
 
现在我们已经得到第一个空闲块是7号文件的10号块。用前面提到的转储命令dump这个块的内容，我们可以找到下面的内容：
fnx: 0x1c0000b
表示下一个可用的块地址是0x1c0000b，在我们的例子这个块正好是可用的最后一个块（segment header block中的lhd部分），我们可以再次dump这个0x1c0000b块，同样查看转储的结果，找到下面的内容：
fnx: 0x0
0x0表示下面没有可用的空闲块了，也就是表明这是freelists中的最后一个空闲块。
 
注意：你们的测试可能得到跟我不一样的转储内容，这是正常的。

 

四．  有多少种free list
1．  master free list或者segment free list
简称为MFL，在segment被创建的时候自动生成的，如果我们在创建segment时没有指定freelists参数，或者指定freelists=1，都是生成这个MFL。MFL对于每个segment来说有且只有一个（如果指定freelists>1，产生的就是不是MFL，这一点将在process free list部分解释）。MFL相当于一个空闲空间池，当一个segment被创建时的初始化block以及以后动态分配的新block都链接到MFL中，这个池中的所有空闲块是被所有进程共享的，对于该segment有insert操作的所有进程都可能会去读取这个free list，这样当有多个进程要同时insert数据时，就可能出现在MFL上的争用（MFL在一个时间只能允许一个进程取得空闲块，当然，其实进程从MFL上读取空闲块的操作并不是简单地需要多少就取多少，取得以后就直接向块中插入数据，实际上的过程要更复杂一些，这个过程在“进程请求空闲块的过程”部分会有详细描述）。由此，推出了freelist groups的概念，设置freelist groups参数大于1就是设置了多个MFL，这样就缓解了对于MFL的争用。有关freelist groups更详细的内容在“Super Master Free list”部分会有描述。
 
2． process free list
如果进程必须直接从MFL中读取空闲块，那么对于MFL的争用由freelist groups参数解决（设置多个MFL），但是显然还有另外一个思路就是尽量不让进程去直接读取MFL，没有需求自然就无所谓争用。由此引入了另外一个级别的free list，这就是process free list，简称为PFL。当我们指定存储参数freelists>1的时候，生成的就是PFL。
我们前面说过MFL是在segment被创建的时候自动生成的，所以无论是不是有PFL，对于每个segment来说都仍然存在1个MFL。也就是如果我们定义freelists等于2的话，那么在segment header block中将总共存在3个freelist，其中1个是MFL，另外2个是PFL。
这一点我们同样可以通过dump转储信息来验证。
SEG LST:: flg: UNUSED lhd: 0x00000000 ltl: 0x00000000
SEG LST:: flg: UNUSED lhd: 0x00000000 ltl: 0x00000000
SEG LST:: flg: USED   lhd: 0x01c0008b ltl: 0x01c0008b
后面两个free list既是PFL，而前面一个则是MFL。
顾名思义，既然命名为process free list，那么显然位于这个级别的free list中的空闲块只能被一个进程读取。想象一下，如果当前系统对于某张表最多同时会有10个进程同时作insert操作，那么我们设置freelists=10，将能尽量满足每个进程都能够使用专属于自己的free list，无疑通过这样的手段我们缓解了free list的争用。
一个进程到底会使用哪个PFL，oracle内部的算法是：(P % NFL) + 1
其中P表示DML操作进程的Process ID，可以从v$process.pid字段中取得。
NFL表示freelists存储参数定义的PFL数量。
可能会有疑问，如果是这样，多个MFL有存在的必要吗？我们只需要设置多个PFL不就可以了吗？然而事实并非如此，不过请稍安毋躁，在后面讲解“进程请求空闲块的过程”中会解释这个问题。
 
3． transaction free list
在Oracle中事务（transaction）是一个重要的概念，每次DML操作，事务的开始都是自动的，而我们可以通过commit或者rollback来标志一个事务的结束。一个进程（或者说一个用户会话）有自己的PFL，然后一个进程可能会执行很多的事务，于是又出现了这个级别的free list，这就是transaction free list，简称为TFL。
TFL是动态产生的，只有当DML语句（比如delete或者update）使block占用量降到pctused参数指定值之下时才会生成TFL，一个TFL只属于一个事务，而一个事务也只会有一个TFL，一个事务没有提交之前，此事务的TFL上的空闲块不会被其它事务使用。但是可以立刻被本事务使用（此时这些空闲块被称为previously freed blocks）。
每个segment最少可以有16个TFL，同时只要有需求就会动态增加TFL数量，除非达到了segment header block size的限制。当没有空间允许新的事务得到自己的TFL时，这个事务就必须等待其它的事务提交并释放TFL。等待哪个事务的算法是：(P % NFL)
其中P表示DML操作进程的Process ID，可以从v$process.pid字段中取得。
NFL表示当前的TFL总数量。
通过dump转储数据块信息，我们可以看到类似于下面的内容：
XCT LST:: flg: USED   lhd: 0x01c0008c ltl: 0x01c0008a xid: 0x0008.01f.000003d2
其中xid表示transaction id，关于transaction id的格式和表示的意义，有兴趣的读者可以查看其它的资料。
 
4． Super Master Free list或者Segment Master Free list
这个级别的free list只有在设置了多个freelist groups时才会出现。
当我们设置freelist group>1，就会产生freelist group block，这些block紧跟在segment header block之后，假设我们设置了storage(freelists 4 freelist groups 2)，那么该segment的第一个块是segment header block，第2，3个块则都是freelist group block。
首先在segment header block中存在1个free list，这个free list就被称为Super Master Free list或者Segment Master Free list。
而在每个freelist group block中又都存着1个MFL，还存在4个PFL，每个freelist group block块的剩余空间则全部留给TFL使用。
在单个instance中进程选择freelist group的算法是(P % NFB) + 1 。
其中P表示DML操作进程的Process ID，可以从v$process.pid字段中取得。
NFB表示freelist groups 参数定义的Freelist Groups数量。
而在RAC环境中的算法则更加复杂，本文不作讨论了。
查看freelist group block的转储文件可以看到类似于下面的内容：
frmt: 0x02 chkval: 0x0000 type: 0x16=DATA SEGMENT FREE LIST BLOCK WITH FREE BLOCK COUNT
  blocks in free list = 5 ccnt = 0
  SEG LST:: flg: UNUSED lhd: 0x00000000 ltl: 0x00000000
  SEG LST:: flg: UNUSED lhd: 0x00000000 ltl: 0x00000000
  SEG LST:: flg: UNUSED lhd: 0x00000000 ltl: 0x00000000
  SEG LST:: flg: USED   lhd: 0x01c00116 ltl: 0x01c0011a
SEG LST:: flg: UNUSED lhd: 0x00000000 ltl: 0x00000000