1.常用的矩阵范数
矩阵的
l
r
,
p
l_{r,p}
lr,p范数定义为：
F范数和
l
2
,
1
l_{2,1}
l2,1范数可以转化为：
S
S
S的
l
2
,
1
l_{2,1}
l2,1范数其实就是每一行向量的
l
2
l_2
l2范数之和。在最小化问题中，只有每一行的
l
2
l_2
l2范数最小才能使总和最小，而每一个行范数最小就要求行内尽可能多的元素为0，即行稀疏。所以，通过约束矩阵的
l
2
,
1
l_{2,1}
l2,1范数会得到一个行稀疏的矩阵。
矩阵 S S S的 l 2 l_2 l2范数是所有元素的平方和再开方， l 2 l_2 l2范数可以防止过拟合，提升模型的泛化能力。 l 2 l_2 l2范数最小，会使矩阵中的每一个元素都很小，接近于0。与 l 1 l_1 l1范数不同， l 2 l_2 l2范数不会让元素等于0，而是接近0.
核范数为矩阵奇异值的和，用于约束低秩。因为 r a n k ( W ) rank(W) rank(W)是非凸的，故在优化中常使用其凸近似，也就是核范数。
2.标量函数对矩阵变量求导
定义：矩阵X，函数f(X)是以X为自变量的数量函数，定义f(X)对X的导数为
例如：
常用的矩阵导数有：
∂ t r ( Q T A Q ) ∂ Q = ( A + A T ) Q \frac{\partial tr(Q^{T}AQ)}{\partial Q}=(A+A^{T})Q ∂Q∂tr(QTAQ)=(A+AT)Q
∂ t r ( Q A Q T ) ∂ Q = Q ( A + A T ) \frac{\partial tr(QAQ^{T})}{\partial Q}=Q(A+A^{T}) ∂Q∂tr(QAQT)=Q(A+AT)
∂ t r ( A B ) ∂ A = ∂ t r ( B A ) ∂ A = B T \frac{\partial tr(AB)}{\partial A}=\frac{\partial tr(BA)}{\partial A}=B^{T} ∂A∂tr(AB)=∂A∂tr(BA)=BT
∂ t r ( A A T ) ∂ A = 2 A \frac{\partial tr(AA^T)}{\partial A}=2A ∂A∂tr(AAT)=2A , ∂ t r ( A 2 ) ∂ A = 2 A T \frac{\partial tr(A^2)}{\partial A}=2A^T ∂A∂tr(A2)=2AT
∂ t r ( Q T A ) ∂ Q = ∂ t r ( A T Q ) ∂ Q = ∂ t r ( A Q T ) ∂ Q = A \frac{\partial tr(Q^{T}A)}{\partial Q}=\frac{\partial tr(A^{T}Q)}{\partial Q}=\frac{\partial tr(AQ^{T})}{\partial Q}=A ∂Q∂tr(QTA)=∂Q∂tr(ATQ)=∂Q∂tr(AQT)=A
t
r
(
A
B
C
)
=
t
r
(
C
A
B
)
=
t
r
(
B
C
A
)
tr(ABC)=tr(CAB)=tr(BCA)
tr(ABC)=tr(CAB)=tr(BCA)
799
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
