机器学习中的数学基础-day3

参考： 拜师资源博客，2021-09-06 机器学习中的数学基础–第三天

标量，向量，矩阵，张量

标量（Scalar）：只有数值大小，没有方向的量
向量（Vector）：具有大小和方向的量
矩阵（Matrix）：由$m\times n$个数$a_{ij}$排成的$m$行$n$列的数表称为矩阵，简称$mn$矩阵
张量（Tensor）：三维及其以上。简单理解为更高阶的向量，如一幅图的灰度，色彩，以及帧率就可以组成一个三阶张量。

向量与矩阵运算

范数：常用来度量某个向量空间或矩阵中每个向量的长度或大小

• 2-范数： 求xy组成的矩阵的两点之间的距离，$\sqrt{x^2+y^2}$
• 无穷范数：一个向量组中所有向量中的最大分量
• 0范数：一个向量组的稀疏性（0范数不是0就是1，以此来判断稀疏性）

矩阵计算

• 常用的：k * n * n * m →k* m（前行乘后列）
• hadamard 积：矩阵内对应标量相乘
• kronecker 积：m * n * m * n →m（m * n）* n，例如两个2*2矩阵通过kronecker积后变为4 * 4矩阵

张量积

矩阵的逆与伪逆

矩阵的逆的定义：设A是一个n阶矩阵，若存在另一个n阶矩阵B，使得： AB=BA=E ，则称方阵A可逆，并称方阵B是A的逆矩阵

伪逆的定义：伪逆矩阵是逆矩阵的广义形式。由于奇异矩阵或非方阵的矩阵不存在逆矩阵

penrose inverse 条件：

行列式

定义：行列式在数学中，是一个函数，其定义域为det的矩阵A，取值为一个标量，写作det(A)或 | A |

性质：

1. 性质1：行列式与它的转置行列式相等
2. 性质2：互换行列式的两行(列)，行列式变号
3. 性质3：行列式的某一行(列)中所有的元素都乘以同一数k，等于用数k乘此行列式
4. 性质4：行列式中如果有两行(列)元素成比例，则此行列式等于零
5. 性质5：若行列式的某一行(列)的元素都是两数之和，例如第j列的元素都是两数之和

线性方程组

二次型与正定性

二次型：n个变量的二次多项式称为二次型，即在一个多项式中，未知数的个数为任意多个，但每一项的次数都为2的多项式。

正定性：
1、正定矩阵的行列式恒为正；
2、实对称矩阵A正定当且仅当A与单位矩阵合同；
3、若A是正定矩阵，则A的逆矩阵也是正定矩阵；
4、两个正定矩阵的和是正定矩阵；
5、正实数与正定矩阵的乘积是正定矩阵。

== ps.1.实对称矩阵：如果有n阶矩阵A，其矩阵的元素都为实数，且矩阵A的转置等于其本身（aij=aji），(i,j为元素的脚标），则称A为实对称矩阵
2.合同矩阵，两个矩阵A和B是合同的，当且仅当存在一个可逆矩阵 C，使得CTAC=B，则称方阵A合同于矩阵B。==

矩阵分解

https://en.wikipedia.org/wiki/Matrix_decomposition