浅析CBIR中基于SVM的相关反馈算法

1.介绍

 

CBIR^[1]是一种从图像数据库中获取图像的技术，被获取的图像和用户提交的查询图像具有语义相关性。这种方法是采用基于可视化特征的方法来表达图像。这些可视化特征可以自动地从图像中抽取，比如颜色、纹理和形状。然而低水平的图像特征和高水平的语义理解之间的差距成为影响系统性能提升的瓶颈。RF^[2]是一种有缩短两者之间差距和提升CBIR系统性能的有效的方法。RF通过要求用户来语义地对反馈进行正或者负的分类的方法来关注用户和搜索引擎之间的交互。基于用户的反馈信息，RF方案核心的问题是如何快速地构建一个合适的分类器。然而这种构建过程和传统的分类过程有很大的不同之处，因为用户不喜欢提供大量的反馈信息。因此在RF过程中，小样本的学习方法将会是一种非常有前途的方法。

SVM^[3]是一种近几年用的比较流行的小样本学习方法，由于它具有较强的泛化能力所以可以获得较高的性能。SVM通过最小化VC维和达到最小结构化风险来获得模式分类问题的非常好的性能。基于SVM的RF非常流行是因为在训练集小的情况下获得的性能可以优于其他分类器。接下来的内容安排如下：通过介绍几个典型的基于SVM的RF的演变过程中的几个方案来认识SVM和RF结合的方法。主要的有传统的SVM-based RF^[4] 、SVM -based RF^[5]、正交补构成分析（orthogonal complement component analysis , OCCA）^[6]、Kernel empirical OCCA( KEOCCA )^[6]。

 

2.算法介绍

 

2.1传统的SVM-based RF算法^[4]

      

在处理反馈的过程中，用户可以标记一个图像相关或者不相关。考虑到把初次结果的Top作为训练数据集，可以用SVM来实现分两个类的学习算法，并且构造一个合适的分类器来表达用户的查询概念。在这之后，其他图像可以分类为相关类和不相关类，这主要是有各个图像距离分类超平面的距离来确定的。这种距离确定类型的方法可以获得较好的结果。具体过程如下：

⑴ 通过传统的方法进行检索。

⑵ 标记top -N  图像为两类：相关集合I 和非相关集合I 。

⑶ 为SVM准备训练集数据 ，

⑷ 用SVM算法构建分类器函数。

注：目的是为了得到查询的相似距离，因此在分类器函数 中忽视函数sign(.)

⑸ 计算数据库中每一个图像 的分数

Score ( ) =

⑹ 按照分数从新排序所有的图像并且输出返回结果。

 

2.2 SVM -based RF^[5]

SVM -based RF的工作过程中，学习器必须积极地扑捉用户的查询意图，尽量让它返回的结果是用户感兴趣的。SVM和RF结合主要思想如下:

1)SVM 认为学习目标概念的任务是一种学习SVM二位分类器。SVM通过在一个投影空间的超平面内区分相关图像和非相关图像的方法扑捉查询概念，这个投影空间通常是高维的。超平面一端的投影点被认为是和查询概念相关的，另外一端认为是不相关的。

2)SVM 通过积极学习来快速地学习分类器。SVM 积极的部分通过选择最具有信息量的实例来训练SVM分类器。这个过程保证了在少数的反馈周期内对查询概念的快速收敛。

3)一旦分类器被训练，SVM 返回TOP-K最相关的图像。这K张图像是在查询概念边最远离超平面的。

另外的一个重要的思想是：认为图像的描述应该符合人类的感知和理解^[8]。尤其是的感知处在一个多重的决定方式。对一些视觉行为来讲，眼睛可能选择一些粗糙的过滤器来选择一些粗糙的图像特征，在其他的一些情况可能会选择一些好的特征。这同样适用于一些应用程序。对于一个图像搜索引擎，必须具备这种复杂的多决议的能力来对主观感知进行建模来满足许多不同的搜索任务。

算法：

SVM 系统每一周期的相关反馈按照以下步骤进行

⑴ 在当前被标注的数据集和中学习一个支持向量集。

⑵ 如果是相关反馈的第一周期，让用户来标注20个随机选择的图片；如果不是，让用户标注最接近SVM边界的20张图片。

在相关反馈周期被执行后，SVM 获取TOP-K最相关的图片：

⑴ 在被标注的数据集中学习一个最终的SVM。

⑵ 最终SVM边界把相关图片和不相关图片分离开。展示K相关的图片，这些图片离SVM边界最远。

 

2.3正交补构成分析(OCCA)^[6]

      

在这种方法提出之前，传统的SVM-based RF同等对待正的和负的反馈。这种方法并不是一直都是合适的，因为正在训练的反馈的两个组中分别具有不同的属性。也就是说，说有正的反馈都具有同种类型的概念而负的反馈却没有这样的特性。这种问题的存在严重地限制了CBIR系统的性能。OCCA就是解决这种问题的一种解决方案。

在CBIR系统中，通过拥有足够的支持向量来获得零经验风险（ ）并没有难度。然而大数量的支持向量将会增加SVM分类器h的VC维，因此需要同时来限制h和 。为了解决这个问题，将所有正的反馈投影到一个子空间内，然后投影负的反馈到同一个子空间内。在这个子空间内可以减少支持向量的数量而不增加 。最后，剩余的图片投影到同一个子空间内，并且于此同时，一些相似性和非相似性的方法应用到对数据库中的图像进行排序的过程中。

       对于CBIR，这种方法是可行的。因为所有的正的反馈和查询图像具有类似的概念，但是负的却不具有。于此同时在投影的步骤过程中，SVM分类器的优化的超平面可以被任何增加的正的反馈改变，但是对负的反馈却不怎么敏感。这样的话，更多的精力将集中在正的反馈。另外产生结果的SVM分类器的超平面在投影中心将会变的更加简单。

       OCCA的实现步骤有以下三个步骤：

⑴ 投影所有的正的反馈到他们的中心，并且产生子空间。

⑵ 投影剩余的图片，包括负的反馈到新产生的子空间。

⑶ 在子空间中重构SVM分类器，并且基于新的相似度对图像进行重新的排序。

       对于一个正的反馈集合 ，其中 ， 为正反馈的数量。Karhunen-Leove transformation（KLT）^[7]可以用来抽取他的主要子空间和正交补集。KTL的最基本功能通过解决特征值问题来得到

其中 是正反馈的协方差矩阵， 是 的主要子空间， 是 在 中子空间的正交补。 是 的特征值的相应的对角矩阵。

SVM OCCA的具体算法如下：

⑴ 计算正反馈中 的协方差矩阵。

⑵ 根据 计算 正交补 。

⑶ 投影每一个正的反馈 到它们的中心 。

⑷ 投影每一个负反馈 到正交补子空间 。

⑸ 投影数据库中每一个剩余的图像X到正交补子空间。 。

⑹ 在 上训练标准SVM分类器。

⑺ 使用SVM 的输出结果重新排序剩下的投影图像。

通过KTL，我们可以得到正交补特征向量， 。其中 为正反馈的中心。 是第 个正反馈。 是第  个负反馈， 是第 个投影负反馈。 是初始向量集 的投影向量集。 ， 是负反馈的数量。 是支持向量的数量。

 

2.4 Kernel empirical OCCA( KEOCCA )^[6]

      

KEOCCA作为OCCA增强型，致力于提升CBIR的性能和在核空间推广OCCA。根据核方法，原始的输入首先被映射到任意一个高维的特征空间，在这个空间中取样的分布是线性的，那么OCCA被用来在核特征空间内获得一个分类器。直接的OCCA核化方法是仅仅使用正反馈来构建基础。同过探索，可以使用正反馈和负反馈来共同构建基础。事实上，构建基础的最合适的方法是使数据库中的图片协作起来。应为在这种方法下更多的核特征将会产生出来。然而这种方法对于CBIR来说是相当难以实现的。因此仅仅使用所以的反馈来构建基础是可行的。

       具体算法如下：

⑴ 计算核矩阵K。

⑵ 通过 ，计算正反馈的和协方差矩阵 的核经验正交补集 。

⑶ 根据 ，投影正反馈 到它的中心 。

⑷ 根据 ，投影所有的负反馈 到经验核正交补的子空间。

⑸ 根据 ，投影所有的剩余的图像X到这个子空间。

⑹ 在 上训练标准SVM分类器。

⑺ 使用SVM 的输出结果重新排序剩下的投影图像。

， ， 代表正反馈， 代表负反馈， 代表数据库中的图像。

 

3.几种算法的比较

      

3.1传统的基于SVM的RF和SVM -based RF的相同点

 

对于一个给定的核函数，SVM分类器如下：

其中， 是SVM的决策函数，  为支持向量的数量。对于传统的基于SVM的RF和SVM -based RF，对于给定的样本 的值越低，这个样本越接近决策边界，相对应的预测可信度就越低，反之亦然。RF是为了找到一种适应的相异的方法来逼近用户的语义。结果对于二者来说，相异的方法经常有SVM的决策函数得到，即 。

 

3.2传统的基于SVM的RF和SVM -based RF的不同点

 

二者在处理反馈过程中也采取了不同的方法，SVM -based RF 让用户标注获取的边缘的图像作为标注反馈，对于传统的基于SVM的RF 则是让用户标注那些离SVM边界最远的图像。

 

3.3  SVM -based RF的优缺点

 

SVM -based RF优于传统的方法在于：1）次都去等分图像空间：从样本中选择来获取图像，在正反馈边这些图像距离分类器边界最远；距离边界最近的图像被认为是最具有信息量的图像来给用户标注。2）在CBIR中结合了多式联运概念依赖方法。

SVM -based RF缺点：在第一个反馈周期内需要用户标注大量的图像，大约有20个左右。

 

3.4 传统的SVM-based RF 、SVM -based RF与OCCA的区别

 

       前两者都同等地对待征反馈，实际上在现实中正负两个训练集合中实际上是有很多不同的属性的。OCCA捕捉正反馈的永恒的子空间，试验证明，这种方法是能够获得性能的提升的。

 

4.结论

      

最近SVM方法已经广泛应用在RF中，用来提高CBIR的性能。SVM的优势在于与其他分类器相比它能更好地泛化。OCCA是对传统的基于SVM的RF的一种有效的改进，并取得了很好的性能表现。由于时间的关系，我对此算法的了解仅仅停留在理论分析的阶段，在实践验证方面并没有进行可行性的实现。在接下来的学习和工作中，对于将这种算法应用于实验室正在进行的项目中并实现相应的原型系统，我有很大的热情。比如在一个战场信息处理系统中，由无人侦察机拍摄的图片输入设想的原型系统中，通过该系统的分析，得到该图像所属的种类和相关的搜索结果，这种想法是很值得去实现的，在接下来的工作中我会尝试去实现，并改进目前存在的问题。非常感 谢吴 老师的精彩授课，这篇读书报告中的不足之处敬请老师批评。

 

5.参考文献

 

[1]J. Z. Wang, J. Li, and G. Wiederhold, “SIMPLIcity: Semantics-sensitive integrated matching for picture libraries,” IEEE Trans. Pattern Anal. Mach. Intell., vol. 23, no. 9, pp. 947–963, Sep. 2001.

[2] Y. Rui, T. S. Huang,M.Ortega, and S.Mehrotra, “Relevance feedback:A power tool in interactive content-based image retrieval,” IEEE Trans.Circuits Syst. Video Technol., vol. 8, no. 5, pp. 644–655, Jul. 1998.

[3] V. Vapnik, The Nature of Statistical Learning Theory. New York : Springer-Verlag, 1995.

[4] L. Zhang, F. Lin, and B. Zhang, “Support vector machine learning for image retrieval,” in Proc. IEEE Int. Conf. Image Process., Thessaloniki , Greece , 2001, pp. 721–724.

[5] S. Tong and E. Chang, “Support vector machine active learning for image retrieval,” in Proc. ACM Int. Conf. Multimedia, 2001, pp.107–118.

[6] D. Tao, X. Tang, and X. Li, “Which Components are Important for Interactive Image Searching?”  IEEE Trans.Circuits Syst. Video Technol., vol. 18, no. 1, Jan2008.

[7] K. Fukunaga, Introduction to Statistical Pattern Recognition, 2nd ed.Boston: Academic Press, 1990.

[8] E. B. Goldstein. Sensation and Perception (sth Edition).Brooks/Cole, 1999.