留待解决的数学问题
- 对于二次优化方程 f ( x ) = x T A x f(x)=x^TAx f(x)=xTAx,其中限制 ∥ x ∥ 2 = 1 \Vert x\Vert_2=1 ∥x∥2=1 证明:函数 f f f的最大值是矩阵A的最大特征值,最小值是矩阵A的最小特征值。
- 对于半正定矩阵A,证明: ∀ x {\forall}x ∀x, x T A x ≥ 0 x^TAx \geq0 xTAx≥0
- 对于正定矩阵A,证明:
∀
x
{\forall}x
∀x,
x
T
A
x
≥
0
x^TAx \geq0
xTAx≥0且
x T A x = 0 x^TAx=0 xTAx=0当且仅当 x = 0 x=0 x=0 - 关于奇异值定理的证明,结合线性系统那本书中的所谓的manipulation.我还是停留在 Q ′ H ′ H Q = D = S ′ S Q'H'HQ=D=S'S Q′H′HQ=D=S′S的阶段。
- 关于伪逆(Moore-Penrose)的问题,我们在线性系统中证明所有的最小实现是相互等价的时候用上了这个东西今天在深度学习中再次遇见这个,并且知道了在深度学习中计算伪逆的实际算法是通过奇异值分解来得到的。
等式约束的最大化问题
等式约束可以利用拉格朗日乘子法去解决
相似的数学符号辨认
θ
∗
=
a
r
g
m
a
x
θ
∈
Θ
l
(
θ
)
\theta^{*}=arg \; max_{ \theta \in \Theta} l(\theta)
θ∗=argmaxθ∈Θl(θ)
上面表示返回回来的是
θ
\theta
θ的值,使得
l
(
θ
)
l(\theta)
l(θ)最大
l
(
θ
∗
)
=
m
a
x
l
(
θ
)
l(\theta^*)=max \;l(\theta)
l(θ∗)=maxl(θ)
传递回来的就是
l
(
θ
)
l(\theta)
l(θ)的最大值