Locality-constrained Linear Coding（LLC）总结

LLC（Locality-constrained Linear Coding forImage Classification）解析

1 LLC来源

jianchao yang的这篇Locality-constrained LinearCoding for Image Classification（介绍这篇文章的链接：http://blog.sina.com.cn/s/blog_631a4cc40100wdul.html）是在以下两篇文章的基础上做的，Liner Spatial PyramidMatching using Sparse Coding for Image Classification (CVPR'2009)和Nolinear DimensionalityReduction by Locally Linear Embedding（LLE）。

Liner Spatial Pyramid Matching using Sparse Coding for ImageClassification(CVPR'2009)工作代码可以在jianchao yang主页上下载。文章的创新点是编码方式的创新，提出了LLC。文章的核心公式：

第一项约束重构误差，第二项是用1范数近似0范数约束稀疏性。之后就是一些基本的操作，max pooling和图像金字塔了。这个公式解决了两个问题，其一是多个码本重构特征减少了重构误差，其二用线性SVM减少训练时间。优化这个式子用的是Honglak Lee代码。

 

Nolinear Dimensionality Reduction by Locally Linear Embedding（LLE）是流行中非常经典的文章，现在的他引率已经达到4550次了，这是发在Science, 2000年的文章。作者Sam T. Roweis，文章中的思想比较简单，就是用近邻的几个点重构他，只考虑他们之间的相对关系。从而降维。

2 对比

LLC是在ScSPM和LCC基础上做了些改进。ScSPM用SC coding代替VQ coding之后，用linear SVM取得了不错的效果，由于发现SCcoding具有局部性，便有了LCC coding。这种编码方法进一步降低了编码计算复杂度，并且可以用linear SVM。

下面将这几种coding的目标函数做一下比较：

VQ coding：

这其实就是一个线性回归问题，用了最小二乘法来求解。relax对Ci的限制，再加上一个sparse regularization 项，便是SC coding：