Yang, C., et al., Semi-supervised low-rank representation for image classification. Signal Image & Video Processing, 2016: p. 1-8.
本文是这篇 SIViP 期刊论文的笔记,主要是对文中的理论方法进行展开详解。本人学术水平有限,文中如有错误之处,敬请指正。
摘要: LRR 可以构建低秩的、稀疏的系数矩阵,和字典矩阵的线性组合表示图像,但是实际上很不实用,因为缺少了图像信息。这是一个非监督的方法。基于 LRR ,此文提出了一种半监督的方法,标签约束稀疏低秩表示(label constrained sparse low-rank representation, LCSLRR),把标签信息加入作为硬约束条件。加入了这个约束之后,提升了低秩分解的判别能力。构建了LCSLRR 图来表示数据结构,用于半监督学习,并在图中提供边缘权值通过搜索一个低秩、稀疏的矩阵(在论文中没有看到)。
1 简介
LRR 1 通过在所有候选数据中,寻找最低秩的表达,并用已有的字典的线性组合表示数据样本。它已经能应用到人脸识别 2,显著目标检测 3,背景提取 4,追踪 5,3D 视觉恢复 6 等。LRR 是一种非监督的方法,实际使用时非常有限制。为了弥补这样的缺陷,一些额外的约束,比如非负 7 和稀疏,显示或隐式加入 LRR 中,推导出一些半监督的 LRR 算法。比如,一种非负低秩、稀疏图模型 (non-negative low-rank and sparse (NNLRS) graph 8) 是一种半监督的方法,添加约束使系数矩阵必须满足非负、稀疏和低秩,来构建一个信息图,用于半监督学习。NNLRS 的稀疏约束捕捉到数据的局部、低维的联系;而非负约束确保每一个数据都在其邻点的凸包之内(不知道有什么意义)。
此文提出了一个半监督的方法,label constrained sparse low-rank representation (LCSLRR),其加入了标签信息作为额外的约束。该方法的核心思想是有相同标签的数据有类似的表示。LCSLRR 将标签信息以一个指示矩阵的形式加入目标函数中,推导出优化过程。在推导优化方法之后,推导出图邻近结构和图权值矩阵,用于半监督学习(论文只有一段简短的文字表述,没有图???)。
此文的主要贡献有:
提出了一种半监督的学习框架,加入了标签信息到优化函数中;
提出了一种解决图特征表示的方法,基于信息图(没看到???)。该方法同时推导了图结构和图权值。其避免了微调参数的代价,可以适用于很多的实际应用场合。
2 标签约束、低秩图
LRR 是一个有效的图像表示模型。
X=[x1,x2,⋯,xn]∈Rd×n
是一个
m
维的数据向量集合,来自一组线性子空间
其中 Z=[z1,z2,⋯,zn] 是系数矩阵,每一个 zi 表示一个 xi 。字典通常是过饱和的,为了使方程有解。
2.1 半监督有约束 LRR
加入标签信息作为约束,数据
X
有
有了这个指示矩阵 S ,标签约束矩阵
其中 O(s−c)×n 是一个 (s−c)×n 的零矩阵,和
其中 In−s 是一个 (n−s)×(n−s) 的单位矩阵。 H 作为标签信息的约束加入,
2.2 标签约束 LRR
观测到的数据通常是有噪声的。所以,获得低秩的数据表示可以被认为是恢复出低秩的数据矩阵
X
,还有稀疏的误差
其中参数 λ>0 用于平衡两项的比例,经验性赋值。范数 ||E||2,1=∑nj=1∑mi=1([E]ij)2−−−−−−−−−−−√ 用于描述稀疏误差 E 。然而,求解该问题是 NP-hard,因为 rank 函数的离散性质。然而可以其可以松弛为一种凸优化问题 9 :
其中 ||⋅||∗ 是核范数,定义为矩阵的奇异值之和。原始的 LRR 问题用 増广 Lagrange 乘子法求解。于是,此文使用经典的 inexact ALM 方法求解,过程与 LRR 10 类似。
首先,加入辅助变量
J
,使得目标函数可分
然后,将约束优化问题转化为无约束的 Lagrangian 函数
其中 Y1,Y2 是 Lagrange 乘子, μ>0 是惩罚参数。完整的算法过程总结于 Algorithm 1 中。
Algorithm 1: LCLRR
Input:
X, H, λ
;
Initialize:
Z=0, J=0, E=0, Y1=0, Y2=0, μ0=10−7, μmax=1030, ρ=1.1, ϵ=10−10, k=0.
1: While
not converged
do
2: 更新
Jk+1
3: 更新 Zk+1
4: 更新 Ek+1
5: 更新 Y1,Y2
6: 更新 μk+1=min(ρμk, μmax) .
7: 检查收敛条件 ||X−AHZk+1−Ek+1||∞<ϵ, ||Zk+1−Jk+1||∞<ϵ .
8: k=k+1 .
9: End While
Output: Z, J, E .
2.3 标签约束稀疏 LRR
为了获得稀疏的数据表示,加入了稀疏正则项于
Z
。于是,将 LCLRR 扩展到了 LCSLRR (label constrained sparse low-rank representation),其优化问题的形式如下
其中 β>0 是平衡 rank 项和稀疏项的比例。 ||⋅||0 表示 ℓ0 范数,计算矩阵中非零项的个数。由于其非凸性质,用 ℓ1 范数代替 ℓ0 范数,核范数代替 rank 函数。于是,就得到了
其中 ||⋅||1 是计算矩阵所有元素的绝对值之和。首先加入一个辅助变量 W ,使得目标函数可分,问题转化为
将其转化为如下的无约束 Lagrangian 函数,
将二次项 h=μ2(||X−AHZ−E+Y1/μ||2F+||Z−W+Y2/μ||2F) 使用上一次迭代的一阶近似代替,再加上一个逼近项 11,接着给出变量 Z,W,E 的更新公式
原文中的 ∇Zh 是 h 关于
Algorithm 2: LCSLRR
Input:
X, H, λ, β
;
Initialize:
Z=0, W=0, E=0, Y1=0, Y2=0, μ0=10−7, μmax=1030, ρ=1.1, ϵ=10−10, η=||A||22, k=0
.
1: While
not converged
do
2: 固定
W,E
,更新
Zk+1
;
3: 固定
Z,E
,更新
Wk+1
;
4: 固定
Z,W
,更新
Ek+1
;
5: 更新
Y1,Y2
6: 更新 μk+1=min(ρμk, μmax) .
7: 检查收敛条件 ||X−AHZk+1−Ek+1||∞<ϵ, ||Zk+1−Wk+1||∞<ϵ .
8: k=k+1 .
9: End While
Output: Z, W, E .
2.4 标签约束低秩图构建
一般选择数据 X 自身作为字典,来学习最低秩的表达。获得了最优解
Z∗
,可以构建一个加权的无向图
G=(V,E)
和权值矩阵
W=wij
来定义图的关系矩阵。数据向量对应的顶点集
V={vi}ni=1
,每一个节点
vi
对应一个数据
xi
。
E=eij
是边集,
wij
是连接节点
vi
和
vj
的权值。因为顶点已经有数据向量给出了,构建图的问题关键在于确定权值矩阵
W
。之后确定权值矩阵
实际问题中,用数据
X
作为字典是很不适用的。改进的办法是用一个字典
这里提到的构建一个图模型,此文中一个例图都没有给出?
3 实验
用了多个数据集 Yale B, PIE, USPS, ORL, AR,都统一用表格的形式给出准确率的对比。略
- Liu, G., Lin, Z., Yu, Y.: Robust subspace segmentation by low-rank representation. Mach. Learn. pp. 663–670 (2010) ↩
- Du,H., Hu,Q., Qiao,D., et al.: Robust face recognition via low-rank sparse representation-based classification. Int. J. Autom. Comput. 12(6), 579–587 (2015) ↩
- Shen, X.,Wu, Y.: A unified approach to salient object detection via low rank matrix recovery. IEEE Conference on Computer Vision and Pattern Recognition pp. 853–860 (2012) ↩
- Cui, X.,Huang, J.,Zhang, S., Metaxas, D.:Background Subtraction Using Low Rank and Group Sparsity Constraints. Springer, Berlin (2012) ↩
- Zhang, T., Ghanem, B., Ahuja, N.: Low-rank Sparse Learning for Robust Visual Tracking. Springer, Berlin (2012) ↩
- Lee, J., Shi, B. ,Matsushita,Y., Kweon, I., Ikeuchi,K.: Radiometric calibration by transform invariant low-rank structure. IEEE Conference on Computer Vision and Pattern Recognition, pp. 2337–2344 (2011) ↩
- He, R., Zheng, W.S., Hu, B.G., Kong, X.W.: Nonnegative sparse coding for discriminative semi-supervised learning. IEEE Conference on Computer Vision and Pattern Recognition, pp. 792–801 (2011) ↩
- Zhuang, L., Gao, H., Lin, Z., Ma, Y., Zhang, X., Yu, N.: Nonnegative low rank and sparse graph for semi-supervised learning. IEEE Conference on Computer Vision and Pattern Recognition pp. 2328–2335 (2012) ↩
- Candés, E.J.,Li, X.,Ma,Y.,Wright, J.: Robust principal component analysis? JACM 58(3) (2011) ↩
- Liu, G., Lin, Z., Yu, Y.: Robust subspace segmentation by low-rank representation. Mach. Learn. pp. 663–670 (2010) ↩
- Lin, Z., Liu, R., Su, Z.: Linearized alternating direction method with adaptive penalty for low rank representation. In NIPS (2011) ↩