项目记录：ROI区域检测-PQTF算法

ROI区域检测-PQTF算法

         视频序列相比于静态图像具有时域运动特征，仅利用单个视频帧的空域信息进行感兴趣区域的判断并不能得到准确的感兴趣区域。因此，开展空域-时域联合的视频显著区域检测成为近几年来的一大研究热点。Oliver Le Meur等人提出通过仿射变换运动建模，将局部运动和全局运动的对比度作为运动显著性，并采用时空结合的方式与静态图像显著性特征融合。Chenlei Guo等人提出了四元数傅里叶变换相位谱（PQFT）算法：保留傅里叶变换后得到的相位值，将幅度谱设为任意常量后做傅里叶反变换就能得到视频的时空显著图。J. Harel等人提出了一种基于时空局部转向内核（space-time local steering kernels）的显著性提取方法。
         综合考虑上述算法的计算复杂度和预测精度，本项目选取了Chenlei Guo等人提出的PQFT算法完成视频序列的感兴趣区域检测。该算法为输入图像建立了四个特征通道（即两个色彩通道，一个亮度通道和一个运动通道）来对图像进行显著性检测。该算法中的运动通道可反映视频序列的时域特征，以便对视频进行时空联合的显著区域检测。其具体实现过程如下：
         假设在t时刻捕获的输入图像用F(t) 表示，t =1,2,3，…,T，其中T是视频总帧数。r(t)、g(t)、b(t) 分别表示F(t) 的红色通道、绿色通道和蓝色通道。三种颜色通道进行组合可以得四种新的颜色通道：
                                            
人脑中存在一个“颜色拮抗对”（color opponent component）系统。 被一种颜色（例如红色）激发的神经元会被另一种颜色（例如绿色）抑制。红色/绿色，绿色/红色，蓝色/黄色和黄色/蓝色是存在于人类视觉皮层中的颜色拮抗对。 因此，色彩通道的设计如下：
                                            
亮度通道和运动通道计算如下，
                                            
其中I(t) 是亮度通道，M(t) 是运动通道。输入图像可以用如下所示的四元数图像q(t) 来表示：
                                            
                                            
上式可以表述如下：
                                            
上式计算了一幅图像的四元数表示，并且将每个像素表示为q(n,m,t) ，其中*(n,m)* 是该像素点的位置，t 表示t 时刻。因此，其QFT表示可通过下式计算：
                                            
其中*(n,m)* 和*(u,v)* 分别表示每个像素空域和频域的位置。N 和M 是图像的高和宽。上式的反四元数傅里叶变换如下式：
                                            

通过上述公式可以计算q(t) 的频域表示Q(t) ，
                                            
其中E(t) 是Q(t) 的相位谱，u是单元纯四元数。置Q(t) =1，则Q(t) 只包含频域中的相位谱。计算Q(t)的重建值q’(t)：
                                            
时空显著图由下式可以得到
                                            
其中g 是2-D高斯滤波器。置w_i=1,i=0,1,2,3，上式可化简为：
                                            
PQFT算法的检测结果如下图所示，其中图a为视频当前的检测帧，图b为参考帧，图c为当前帧ROI检测结果。
                                ( a )

                                ( b )

                                ( c )