BoF meets HOG 论文笔记

今天读的是来自CVPR2013的一篇有关特征的文章：BoF meets HOG: Feature Extraction based on Histograms of Oriented p.d.f Gradients for Image Classification。

文章的核心思想是求出某种local descriptor（如sift）的概率密度函数p.d.f，然后利用p.d.f的形状来刻画图像，具体做法如下：

首先是选一种local descriptor，计算其特征点，如下图：

图中的“+”就是一些特征点，注意的是上图是在descriptor的空间里，而不是原来的图像里。即如果选了sift的话，其特征空间就是128维的。然后，由p.d.f的定义：“p.d.f 是一个描述一个随机变量的输出值在某个确定的取值点附近的可能性的函数”,那么对于图像中的任意一点，这里定义的p.d.f的物理含义可以想象成这一点成为特征点（或者是可以用来刻画图像）的概率。如果在特征空间中，这个点距离已有的特征点越近，那么它的p.d.f值也应该越高。所以，作者定义了如下的p.d.f函数

其中f是kernel density estimator，（实际上我觉得用任意距离函数都可以 ），那么经过p.d.f这样一变换，原图就可以表示成如下的样子：

后面的步骤就直接套用HOG了（所以作者才说meets Hog？)，首先计算这p.d.f的图的梯度方向，然后用梯度方向去刻画这图的方向。又因为原来的sift有128维，维数太高所以作者做了一个PCA+白化，求出d个基向量，然后这d个基向量取正负两个方向，那么对于每一个特征点就可以用2d维来表示。

另外Hog要用“词”这个概念，所以就对p.d.f求积分（即aggregation），又因为特征点是采样得到的，所以其连续和约等于离散样本的和，其实就是把那些特征点做加权和就可以了，如下：

最后就所有图片做词典，用词典表示。

然后还有一些小的技术上的优化，比如空间采样，加权和的权怎么确定的，具体看文章即可...总结：最主要的贡献还是提出了local descriptor 的 p.d.f