线性代数|学习笔记|18.065MIT公开课 lecture05

lecture05:Positive Definite and Semidefinite Matrices——正定、半正定矩阵

补充：【线性代数】6-5:正定矩阵(Positive Definite Matrices) | 谭升的博客 https://face2ai.com/Math-Linear-Algebra-Chapter-6-5/

对称正定矩阵

讨论满足条件：

1. 对称矩阵，特征值${\lambda }_i>0$

2. 充要条件：$x^{T}Sx>0(x\ne 0)$；另一种理解，关于能量的$x^{T}Sx>$ 表示一个系统的能量，其必须大于0，也就是说对于一个矩阵，其能量为正，这个矩阵定义为正定矩阵。

3. $S=A^{T}A,A$列向量无关

4. 子行列式>0

5. 消元后的主元$pivots>0$

$S=\left[\begin{array}{cc}3& 4\\ 4& 5\end{array}\right],det<0\times$

$S=\left[\begin{array}{cc}3& 4\\ 4& 6\end{array}\right]\to \left[\begin{array}{cc}3& 4\\ 0& 2/3\end{array}\right],pivots>0(主元乘积=行列式值)$

$\left[\begin{array}{cc}x& y\end{array}\right]\left[\begin{array}{cc}3& 4\\ 4& 6\end{array}\right]\left[\begin{array}{c}x\\ y\end{array}\right]=3x^2+6y^2+8xy=3(x+\frac{4}{3}y{)}^2+\frac{2}{3}{y}^2>=0$

以上$L(x,y)=x^{T}Sx$是一个碗的形状($x,y\ne 0$)，为凸函数，梯度下降可得到局部最优解即全局最优解；而$L(x,y)=x^{T}Sx+x^{T}b$，局部最优解不一定是全局最优，存在问题。

正定矩阵的可加性：两个正定矩阵之和仍为正定矩阵

$x^{T}sx>0,x^{T}Tx>0\to x^T(Sx+Tx)=x^T(S+T)x=x^{T}Cx>0$

正定矩阵的可逆性：正定矩阵的逆仍为正定矩阵，特征值为$\frac{1}{\lambda }$

$Q^{T}SQ：Q^{T}SQ=Q^{-1}SQ,相似矩阵，特征值相同或者x^T{Q}^{T}SQx=y^{T}Sy,仍为正定$

半正定矩阵

讨论满足条件：

1. 特征值${\lambda }_i\ge 0$
2. $x^{T}Sx\ge 0$
3. $S=A^{T}A,允许A$列向量相关
4. 行列式$\ge 0$
5. $r个pivots>0,r\le n$

$S=\left[\begin{array}{cc}3& 4\\ 4& \frac{16}{3}\end{array}\right],det=0,trace=3+\frac{16}{3},\lambda =0/\frac{25}{3}$

$S=\left[\begin{array}{ccc}1& 1& 1\\ 1& 1& 1\\ 1& 1& 1\end{array}\right],r=1,\lambda =3/0/0$

$S=\left[\begin{array}{ccc}1& 1& 1\\ 1& 1& 1\\ 1& 1& 1\end{array}\right]=Q\Lambda Q^T={\lambda }_1{q}_1{q}_1^T+{\lambda }_2{q}_2{q}_2^T+{\lambda }_3{q}_3{q}_3^T={\lambda }_1{q}_1{q}_1^T=3\ast \frac{1}{\sqrt{3}}\left[\begin{array}{ccc}1& 1& 1\end{array}\right]\frac{1}{\sqrt{3}}\left[\begin{array}{c}1\\ 1\\ 1\end{array}\right]$