深度学习-必备的数学知识-线性代数6

深度学习

必备的数学知识

线性代数

通过伪逆求解线性方程组

伪逆，又称为Moore-Penrose逆，它是一种广义的矩阵。我们可以找到任意一个矩阵的伪逆。矩阵$\mathbf{A}$的伪逆定义为：
$${\mathbf{A}}^{+}=\underset{x\to 0}{\lim }({\mathbf{A}}^T\mathbf{A}+\alpha \mathbf{I}{)}^{-1}{\mathbf{A}}^T$$
这个公式被称为Tikhonov正则化，或岭回归。计算矩阵伪逆的方法很多， 这是其中的一种。我们还可以通过奇异值（SVD）计算伪逆。
$${\mathbf{A}}^{+}=\mathbf{V}{\mathbf{D}}^{+}{\mathbf{U}}^T$$
其中$\mathbf{VDU}$分别对应于奇异值分解中的三个矩阵。

• $\mathbf{V}$是右奇异向量组成的矩阵
• ${\mathbf{D}}^{+}$是$\mathbf{D}$的伪逆，是一个以奇异值为对角元素的对角矩阵。对角矩阵的伪逆是通过取原矩阵的对角线上元素的倒数得到的
• $\mathbf{U}$是左奇异向量组成的矩阵

对于一个$m\times n$的矩阵$\mathbf{A}$,其伪逆${\mathbf{A}}^{+}$是一个$n\times m$的矩阵，${\mathbf{A}}^{+}$满足以下四个条件：

1. $\mathbf{A}{\mathbf{A}}^{+}\mathbf{A}=\mathbf{A}$
2. ${\mathbf{A}}^{+}\mathbf{A}{\mathbf{A}}^{+}={\mathbf{A}}^{+}$
3. $({\mathbf{A}}^{+}\mathbf{A}{)}^T={\mathbf{A}}^{+}\mathbf{A}$
4. $(\mathbf{A}{\mathbf{A}}^{+}{)}^T=\mathbf{A}{\mathbf{A}}^{+}$

在求解线性方程$\mathbf{Ax}=\mathbf{y}$时，如果$\mathbf{A}$是可逆的，那么我们可以通过
$$\mathbf{x}={\mathbf{A}}^{-1}\mathbf{b}$$
来求解，但是并不是每一个矩阵都存在逆矩阵。对于不可以使用矩阵逆求解的方程，我们可以使用伪逆进行求解。
伪逆的一个重要性质是$\mathbf{A}{\mathbf{A}}^{+}\mathbf{A}=\mathbf{A}$，
所以
$$\begin{gathered} \mathbf{Ax}=\mathbf{b} \\ \mathbf{A}{\mathbf{A}}^{+}\mathbf{Ax}=\mathbf{A}{\mathbf{A}}^{+}\mathbf{b} \\ \mathbf{Ax}=\mathbf{A}{\mathbf{A}}^{+}\mathbf{b} \\ \mathbf{x}={\mathbf{A}}^{+}\mathbf{b} \end{gathered}$$
$\mathbf{x}={\mathbf{A}}^{+}\mathbf{b}$的解是满足$||\mathbf{Ax}-\mathbf{b}|{|}_2$最小的解,换句话说$\mathbf{x}={\mathbf{A}}^{+}\mathbf{b}$的解是方程所有可行性解中欧几里得距离$||x|{|}_2$最小的一个

迹运算

迹运算是线性代数中的一种运算， 它对应的是一个方程所有主对角线元素的和：
$$Tr(\mathbf{A})=\sum _i{A}_{i,i}$$
迹运算有着很多重要的性质。
对于任意方阵$\mathbf{A}$和$\mathbf{B}$
$$Tr(\mathbf{A}+\mathbf{B})=Tr(\mathbf{A})+Tr(\mathbf{B})$$
对于任意方阵$\mathbf{A}$和标量c
$$Tr(\mathbf{cA})=cTr(\mathbf{A})$$
标量的迹运算结果仍然是它自身
$$Tr(a)=a$$
矩阵的迹运算结果等同于矩阵逆的迹运算结果
$$Tr(\mathbf{A})=Tr({\mathbf{A}}^T)$$
对一组矩阵乘积进行迹运算得到的迹与将这组矩阵的最后一个移至最前面之后相乘的迹是相同(要保证在移动后，矩阵乘积仍然成立)
$$Tr(\mathbf{AB}..\mathbf{N})=Tr(\mathbf{NAB}..)$$
更一般的
$$Tr(\prod _{i=1}^n{\mathbf{F}}^{(i)})=Tr({\mathbf{F}}^{(n)}\prod _{i=1}^{n-1}{\mathbf{F}}^{(i)})$$
迹运算还提供了描述矩阵Frobenius范式的方式：
$$||A|{|}_F=\sqrt{Tr(\mathbf{A}{\mathbf{A}}^T)}$$

行列式

矩阵特征值的乘积称为行列式，记作$det(A)$或$|\mathbf{A}|$。
行列式有着许多重要的性质和应用：

• 行列式可以帮助我们判断一个矩阵是否可逆，如果一个矩阵的行列式为0，那么这个矩阵是不可逆的，如果一个矩阵的行列式不为0，那么这个矩阵是可逆的
• 行列式可以用来计算一个矩阵的伪逆
• 等等

如有问题 恳请指正
持续更新中…