机器学习常见前置知识汇总

1.自共轭矩阵：

主要针对的是复数，实际上与一般矩阵的转置差不多，只是转置前要先对复数先取共轭复数，再进行转置，经此操作就变成了其自共轭矩阵。

                                          (实际上对于无复数的矩阵，此处的H相当于T)

在机器学习的LDA中，我们学习到的类内和类外散度矩阵 、 就是此类型的矩阵。

2.奇异矩阵和非奇异矩阵

在线性代数中，我们曾对矩阵的性质进行了学习，我们一般称“方程组有无穷个解”对应“矩阵的行列式的值为0”与“矩阵不可逆”，而“方程组有唯一解”则对应“矩阵的行列式的值不为0”与“矩阵可逆”。

在此基础上，我们把不可逆的矩阵称为“奇异矩阵”，此矩阵的秩非满，且为方阵，矩阵的行列式的值为0，对应的齐次方程组有无穷多个解，实际上与“不可逆矩阵”定义类似；

而对于可逆的矩阵我们称之为“非奇异矩阵”，此矩阵是满秩的，对应的齐次方程组有唯一解，矩阵的行列式不为0，实际上与“可逆矩阵”的定义类似。

3.酉矩阵

我们把满足下面式子的矩阵称之为酉矩阵：

                                                

不难得知酉矩阵有以下性质：
                                                

                                                

4.奇异值分解

在学习机器学习的路上我们肯定会发现另一个概念称之为“特征值分解”，也是前期比较常遇到的，虽然此方法比较简单，但受限于一些条件，比如“矩阵的可逆性”。但是任意的矩阵是都可以进行奇异值分解的，一个矩阵可以转化成以下形式：

                                                

若我们假设A矩阵是个m*n大小的矩阵，那么后面三个矩阵的大小分别为m*m、m*n、n*n。

其中值得注意的  矩阵是个对角阵（即除对角线之外均为0），对角线上的均为奇异值。

重要性质：U、V矩阵都是酉矩阵，满足以下性质：

                                                

                                                

 U的组成由  特征分解的特征向量组成，V的组成由  特征分解的特征向量组成。

由奇异值分解的定义式和其性质我们不能得到：

                                                

进而我们可以得到：

                                                

则可以得到奇异值地计算公式：

                                                

值得注意的是此处的  代表特征值分解的结果，所以我们在较为简单求解特征值的时候也可以通过对特征值求解开根号得到奇异值。

5.正定矩阵与半正定矩阵

矩阵的特征值均大于0则称该矩阵为正定矩阵；矩阵的特征值大于等于0则称该矩阵为半正定矩阵。

而对于对称半正定矩阵有以下的性质：

                                                

同样的一般而言在LDA中，我们学习到的类内和类外散度矩阵 、 也是此类型的矩阵。

6.正则化

对参数映入先验分布，此约束有引导作用，使最终解更加倾向于先验知识；

一般而言，对数据进行正则化可以减少模型过拟合的风险。

7.图的拉普拉斯矩阵

在学习到机器学习中期的时候，我们会不断接触很多关于图的知识应用，而图的拉普拉斯矩阵我们一般可以通过下面得到：

                                                

其中W矩阵为邻接矩阵，D为W的行和对角矩阵，所以我们不难得知L的行和均为0。

----- 以上为本人学习机器学习这门课总结出的一些知识点，有错误或者疑问可以评论区交流，欢迎指正！！！