Fisher vector学习笔记

1,背景

     现有的模式分类方法主要分为两类,一类是生成式方法,比如GMM,这类方法主要反映同类数据之间的相似度;一类是判别式方法,比如SVM,主要是反映异类数据之间的差异。fisher kernel是想要结合二者的优势(1,生成式方法可以处理长度不一的输入数据,2,判别式方法不能处理长度不一的数据但是分类效果较好。),将生成式模型用于判别式分类器中。

     关于处理长度不一的数据,举例说明如下:
     我们要对一个图片集 I=X1,X2... 中的图片做分类,考虑生成式的方法,GMM,是对每一幅图片 Xi=x1,...xT 的特征 xi 建模(每个 xi 是D维特征向量),T代表一幅图片中提取的特征点个数,所以T的大小变化,不影响GMM建模。但是判别式分类器如SVM中是要计算样本X之间的距离,如果每个X的特征点个数T不一样,那么他们的维度也就不一样,无法计算他们之间的距离。

     论文《Exploiting generative models in discriminative classifiers》中对fisher kernel进行了理论上的一系列推导和阐述。论文《Fisher Kernel on Visual Vocabularies for Image Categorization》中fisher kernel被应用于图像分类,本文主要参考这篇。论文《Improving the Fisher Kernel for Large-Scale Image Classification》中对fisher vector做改进。

     fisher kernel被应用于图像分类的主要思路是,用生成式模型(GMM)对样本输入进行建模,进而得到样本的一种表示(fisher vector),再将这种表示(fisher vector)输入判别式分类器(SVM)得到图像分类结果。fisher vector是fisher kernel中对样本特征的一种表示,它把一幅图片表示成一个向量。
     本文主要关注fisher vector。


2,fisher kernel

     核方法可以定义一种基于核函数的判别式分类器,可表示如下:

Snew=sign(iSiλiK(Xi,Xnew))

      Xi,Si 是训练集中样本i的值和它的label值,label值只能取+1和-1,也就是分成两类, λi 是样本i在训练集中所占的权重;
      XnewSnew 是一个新来的样本值和分类器预测出得它的label值;
     这里的 K(Xi,Xnew) 是一个核函数,度量新样本 Xnew 和训练集样本 Xi 之间的相似度。

     所以需要确定 λ 和核函数 K(Xi,Xj) 就可以确定一种基于核的分类方法。其中 λ 可以通过做一些优化得到,而在fisher kernel中,就是利用fisher信息矩阵得到一个核函数来度量样本相似度。

     对于一个核函数,有如下的形式:

K(Xi,Xj)=ϕTXiϕXj
评论 7
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值