背景学习模型 —》codebook算法

《Learning OpenCV》一书当中介绍的第二种背景建模方法是codebook。直接通过书本来理解codebook算法有点困难，可以按照下面的顺序来理解codebook算法，首先看看百度百科上对这个算法的基本原理的阐述，我认为百度百科上的描述已经比较直观，但当中有很多细节的东西还需要看具体的代码，所以可以通过细读下面转载的代码来理解codebook算法，理解代码的过程需要有点耐心，先看main函数，理解程序大致的流程，再仔细看看cvupdateCodeBook()、cvclearStaleEntries()、cvbackgroundDiff()这三个函数，看懂了代码之后就应该能够理解这个算法了 。下面阐述的基本原理部分来自于百度百科，已经阐述得比较直观。代码来自于网友的博文http://blog.csdn.net/zcube/article/details/7353941

CodeBook算法的基本思想是得到每个像素的时间序列模型。这种模型能很好地处理时间起伏，缺点是需要消耗大量的内存。CodeBook算法为当前图像的每一个像素建立一个CodeBook(CB)结构,每个CodeBook结构又由多个CodeWord(CW)组成。

CB和CW的形式如下：

CB={CW1,CW2,…CWn,t}

CW={lHigh,lLow,max,min,t_last,stale}

其中n为一个CB中所包含的CW的数目，当n太小时，退化为简单背景，当n较大时可以对复杂背景进行建模;t为CB更新的次数。CW是一个6元组， 其中IHigh和ILow作为更新时的学习上下界，max和min记录当前像素的最大值和最小值。 上次更新的时间t_last和 陈旧时间stale(记录该CW多久未被访问)用来删除很少使用的CodeWord。

假设当前训练图像I中某一像素为I(x,y)，该像素的CB的更新算法如下，另外记背景阈值的增长判定阈值为Bounds：

(1) CB的访问次数加1；

(2) 遍历CB中的每个CW，如果存在一个CW中的IHigh，ILow满足ILow≤I(x,y)≤IHigh，则转(4)；

(3) 创建一个新的码字CWnew加入到CB中,  CWnew的max与min都赋值为I(x,y)，IHigh =I(x,y) + Bounds，ILow =I(x,y) – Bounds，并且转(6)；

(4)  更新该码字的t_last，若当前像素值I(x,y)大于该码字的max，则max =I(x,y)，若I(x,y)小于该码字的min，则min =I(x,y)；

(5) 更新该码字的学习上下界，以增加背景模型对于复杂背景的适应能力，具体做法是：若IHigh < I(x,y) + Bounds， 则IHigh 增长1，若ILow > I(x,y) – Bounds，则ILow减少1；

(6) 更新CB中每个CW的stale。（ 陈旧时间stale(记录该CW多久未被访问)）

使用已建立好的CB进行运动目标检测的方法很简单， 记判断前景的范围上下界为minMod和maxMod，对于当前待检测图像上的某一像素I(x,y)，遍历它对应像素背景模型CB中的每一个码字CW， 若存在一个CW，使得I(x,y) < max + maxMod并且I(x,y) > min – minMod，则I(x,y)被判断为背景，否则被判断为前景。

在实际使用CodeBook进行运动检测时， 除了要隔一定的时间对CB进行更新的同时，需要对CB进行一个时间滤波，目的是去除很少被访问到的CW，其方法是访问每个CW的stale， 若stale大于一个阈值（通常设置为总更新次数的一半），移除该CW。

综上所述，CodeBook算法检测运动目标的流程如下：

(1) 选择一帧到多帧使用更新算法建立CodeBook背景模型；

(2) 按上面所述方法检测前景（运动目标）；

(3) 间隔一定时间使用更新算法更新CodeBook模型，并对CodeBook进行时间滤波；

(4) 若检测继续，转(2)，否则结束。

56帧时

63帧时

/**
比平均背景法性能更加良好的方法,codeBook模型实现背景减除

核心代码详细解析和实现 by zcube
*/

[cpp]  view plain   copy

1. /************************************************************************/  
2. /*          A few more thoughts on codebook models 
3. In general, the codebook method works quite well across a wide number of conditions,  
4. and it is relatively quick to train and to run. It doesn’t deal well with varying patterns of  
5. light — such as morning, noon, and evening sunshine — or with someone turning lights  
6. on or off indoors. This type of global variability can be taken into account by using  
7. several different codebook models, one for each condition, and then allowing the condition  
8. to control which model is active.                                       */  
9. /************************************************************************/  
10.   
11. #include "stdafx.h"  
12. #include <cv.h>             
13. #include <highgui.h>  
14. #include <cxcore.h>  
15.   
16. #define CHANNELS 3        
17. // 设置处理的图像通道数,要求小于等于图像本身的通道数  
18.   
19. ///  
20. // 下面为码本码元的数据结构  
21. // 处理图像时每个像素对应一个码本,每个码本中可有若干个码元  
22. // 当涉及一个新领域,通常会遇到一些奇怪的名词,不要被这些名词吓坏,其实思路都是简单的  
23. typedef struct ce {  
24.     uchar   learnHigh[CHANNELS];    // High side threshold for learning  
25.     // 此码元各通道的阀值上限(学习界限)  
26.     uchar   learnLow[CHANNELS];     // Low side threshold for learning  
27.     // 此码元各通道的阀值下限  
28.     // 学习过程中如果一个新像素各通道值x[i],均有 learnLow[i]<=x[i]<=learnHigh[i],则该像素可合并于此码元  
29.     uchar   max[CHANNELS];          // High side of box boundary  
30.     // 属于此码元的像素中各通道的最大值  
31.     uchar   min[CHANNELS];          // Low side of box boundary  
32.     // 属于此码元的像素中各通道的最小值  
33.     int     t_last_update;          // This is book keeping to allow us to kill stale entries  
34.     // 此码元最后一次更新的时间,每一帧为一个单位时间,用于计算stale  
35.     int     stale;                  // max negative run (biggest period of inactivity)  
36.     // 此码元最长不更新时间,用于删除规定时间不更新的码元,精简码本  
37. } code_element;                     // 码元的数据结构  
38.   
39. typedef struct code_book {  
40.     code_element    **cb;  
41.     // 码元的二维指针,理解为指向码元指针数组的指针,使得添加码元时不需要来回复制码元,只需要简单的指针赋值即可  
42.     int             numEntries;  
43.     // 此码本中码元的数目  
44.     int             t;              // count every access  
45.     // 此码本现在的时间,一帧为一个时间单位  
46. } codeBook;                         // 码本的数据结构  
47.   
48.   
49. ///  
50. // int updateCodeBook(uchar *p, codeBook &c, unsigned cbBounds)  
51. // Updates the codebook entry with a new data point  
52. //  
53. // p            Pointer to a YUV pixel  
54. // c            Codebook for this pixel