图像分类中的SVM多核学习

1.引文 SVM是机器学习里面最强大最好用的工具之一，它试图在特征空间里寻找一个超平面，以最小的错分率把正负样本分开。它的强大之处还在于，当样本在原特征空间中线性不可分，即找不到一个足够好的超平面时，可以利用核（kernel）函数，将特征映射到希尔伯特（Hilbert）空间。后者一般维度更高，通过这样的映射之后，样本在新的特征空间中便是线性可分的了。 记得刚刚学习SVM的时候，对“核”这个词很恐惧，一直理解不了它究竟是什么。在看MKL的时候，又经常会遇到“核矩阵”（kernel matrices）这个词。现在说一下我的理解。 刚才说过，我们通过核把特征从低维空间映射到高维空间。举例来说，我们看下面的多项式核函数： 其中x,y是两个样本，他们的特征分别是(x1,x2)，(y1,y2)，通过这个核函数，可以看到二维特征被映射到了六维特征。而且我们也可以理解，这个映射其实就是用一个矩阵A乘以原来的特征(x1,x2)得到的。矩阵A也就是核矩阵了。一个核函数对应一个核矩阵。 2.基本概念阐述     特征融合：主要用来描述各种不同的特征融合方式，常见的方式有前期融合，就是前面所描述的将各个特征拼接在一起，后期融合本文后面会提到     核函数：SVM遇到线性不可分问题时，可以通过核函数将向量映射到高维空间，在高维空间线性可分     多核学习：在利用SVM进行训练时，会涉及核函数的选择问题，譬如线性核，rbf核等等，多核即为融合几种不同的核来训练。 3.应用背景     在图片搜索中，会出现这样的一类badcase，图像的内容和描述图像的文本不一致，经常会有文本高相关，而图像完全不一致的情况。解决这类问题的一个思路就是综合利用图像的内容分类属性和文本的query分类属性，看两者的匹配程度做相应策略。 4.分类方法的选取 对分类熟悉的同学，马上可能要说出，这还不easy，抽取各种特征，然后一拼接，随便找个分类器，设定几个参数，马上分类模型文件就出来啦，80%准确率没问题。     图像的分类问题跟一般的分类问题方法本质上没太大差异，主要差异体现在特征的抽取上以及特征的计算时间上。     图像特征的抽取分为两部分，一部分是针对通用图像的特征，还有一部分则是针对特定类别抽取的特征。这些特征与普通的文本特征不一致的地方在于，一个图像特征由于存在分块、采样、小波变换等，可能维度就已经很高。譬如常见的MPEG-7标准中提到的一些特征，边缘直方图150维，颜色自相关特征512维等。在分类过程中，如果将这些特征拼接在一起直接就可能过千维，但是实际在标注样本时，人工标注的正负样本也才几千张，所以在选择分类器时，挑选svm，该分类器由于可以在众多分类面中选择出最优分界面，以及在小样本的学习中加入惩罚因子产生一定软边界，可以有效规避overfitting。     在特征的计算时间上，由于图像处理涉及的矩阵计算过多，一个特征的计算时间慢的可以达到0.3秒，所以如何挑选出既有效又快速的特征也非常重要。 5.两种特征融合方式的比较     那刚才的方法有什么问题呢？ 仔细想想，大致存在以下几点问题：      1. 你所提取的所有特征，全部串在一起，一定合适么？如果我想知道哪些特征组合在一起效果很好，该怎么办？