[机器学习]机器学习之数学知识回顾-矩阵及优化理论

开篇

机器学习里面有着众多的数学理论，虽说笔者是数学系出生。但是对于机器学习中的一些基本的数学理论有所遗忘，在这里总结回顾在机器学习过程中用到的数学知识。本文会随着学习过程，不断更新。欢迎留言评论，共同进步。

矩阵知识

如果XY=I，（I是单位矩阵），则称X是Y的逆矩阵。矩阵要可逆必须是方阵（即行数等于列数），即使矩阵是方阵，它也可能不可逆。如果某个矩阵不可逆，则称它为奇异或退化矩阵。
如果某个矩阵的一列可以表示为其他列的线性组合，则该矩阵是奇异矩阵。如果能这样表示，则可以把矩阵的一列全部规约为其他列的线性组合，则该矩阵是奇异矩阵。如果能够这样表示，则可以把一列全部规约为0。
矩阵求逆的步骤的办法很多，常用的可以补单位矩阵，通过行变化求得。

Gram矩阵

Gram中文名称为格拉姆矩阵，它是个有广泛应用的矩阵，其定义如下。

定义：$n$维欧式空间中任意$k(k\leq n)$个向量$\alpha_{1},\alpha_{2},...,\alpha_{k}$的内积所组成的矩阵

$$\Delta(\alpha_{1},\alpha_{2},...,\alpha_{k})=\begin{pmatrix}(\alpha_{1},\alpha_{1})& (\alpha_{1},\alpha_{2})& ...& (\alpha_{1},\alpha_{k})& \\ (\alpha_{2},\alpha_{1})& (\alpha_{2},\alpha_{2})& ... & (\alpha_{2},\alpha_{k})& \\ ...& ...& ...& ...&\\ (\alpha_{k},\alpha_{1})& (\alpha_{k},\alpha_{2}) & ...& (\alpha_{k},\alpha_{k}) \end{pmatrix}$$
称为 $k$个向量 $\alpha_{1},\alpha_{2},...,\alpha_{k}$的格拉姆矩阵（Gram矩阵），它的行列式称为Gram行列式。

定理1

欧式空间中向量$\alpha_{1},\alpha_{2},...,\alpha_{k}$的Gram矩阵一定是半正定矩阵，是正定矩阵的充要条件是 α1,α2,...,αk