LLC(Locality-constrained Linear Coding forImage Classification)解析
1 LLC来源
jianchao yang的这篇Locality-constrained LinearCoding for Image Classification(介绍这篇文章的链接:http://blog.sina.com.cn/s/blog_631a4cc40100wdul.html)是在以下两篇文章的基础上做的,Liner Spatial PyramidMatching using Sparse Coding for Image Classification (CVPR'2009)和Nolinear DimensionalityReduction by Locally Linear Embedding(LLE)。
Liner Spatial Pyramid Matching using Sparse Coding for ImageClassification(CVPR'2009)工作代码可以在jianchao yang主页上下载。文章的创新点是编码方式的创新,提出了LLC。文章的核心公式:
第一项约束重构误差,第二项是用1范数近似0范数约束稀疏性。之后就是一些基本的操作,max pooling和图像金字塔了。这个公式解决了两个问题,其一是多个码本重构特征减少了重构误差,其二用线性SVM减少训练时间。优化这个式子用的是Honglak Lee代码。
Nolinear Dimensionality Reduction by Locally Linear Embedding(LLE)是流行中非常经典的文章,现在的他引率已经达到4550次了,这是发在Science, 2000年的文章。作者Sam T. Roweis,文章中的思想比较简单,就是用近邻的几个点重构他,只考虑他们之间的相对关系。从而降维。
2 对比
LLC是在ScSPM和LCC基础上做了些改进。ScSPM用SC coding代替VQ coding之后,用linear SVM取得了不错的效果,由于发现SCcoding具有局部性,便有了LCC coding。这种编码方法进一步降低了编码计算复杂度,并且可以用linear SVM。
下面将这几种coding的目标函数做一下比较:
VQ coding:
这其实就是一个线性回归问题,用了最小二乘法来求解。relax对Ci的限制,再加上一个sparse regularization 项,便是SC coding: