稀疏编码(Sparse Coding)的思想是通过码本(Codebook)
{di}Ki=1,di∈Rd
{
d
i
}
i
=
1
K
,
d
i
∈
R
d
的线性组合来重构输入变量
x∈Rd
x
∈
R
d
,而每个码本的权重系数构成一个向量
y∈Rm
y
∈
R
m
。由于在重构时一般只会用到码本中少数的码字,因此向量
y
y
通常是稀疏的。稀疏编码可以通过最小化一下目标函数得到:
其中 λ λ 是正则化系数, [y]i [ y ] i 表示 y y 的第 i i 个元素,即在重构中第个码字的系数。