机器学习中的数学基础--线代基础

标量，向量，矩阵，张量

标量（Scalar）：只有数值大小，没有方向的量
向量（Vector）：具有大小和方向的量
矩阵（Matrix）:由mn个数aij排成的m行n列的数表称为矩阵，简称mn矩阵
张量（Tensor）：简单理解为更高阶的向量，如一幅图的灰度，色彩，以及帧率就可以组成一个三阶张量

向量与矩阵运算

范数：常用来度量某个向量空间或矩阵中每个向量的长度或大小
例如：用2-范数 求xy组成的矩阵的两点之间的距离，√x²+y²
无穷范数表示的是一个向量组中所有向量中的最大分量
0范数表示的是一个向量组的稀疏性（0范数不是0就是1，以此来判断稀疏性）

三种矩阵计算方法：`1
常用的：k * n * n * m →k* m（前行乘后列）
hadamard 积：矩阵内对应标量相乘
kronecker 积：m * n * m * n →m（m * n）* n，例如两个2*2矩阵通过kronecker积后变为4 * 4矩阵

张量积

不太懂，后面看到了又懂的话再补回来

矩阵的逆与伪逆

矩阵的逆的定义：设A是一个n阶矩阵，若存在另一个n阶矩阵B，使得： AB=BA=E ，则称方阵A可逆，并称方阵B是A的逆矩阵

伪逆的定义：伪逆矩阵是逆矩阵的广义形式。由于奇异矩阵或非方阵的矩阵不存在逆矩阵

penrose inverse 条件：

行列式

定义：行列式在数学中，是一个函数，其定义域为det的矩阵A，取值为一个标量，写作det(A)或 | A |

性质：

性质1：行列式与它的转置行列式相等
性质2：互换行列式的两行(列)，行列式变号
性质3：行列式的某一行(列)中所有的元素都乘以同一数k，等于用数k乘此行列式
性质4：行列式中如果有两行(列)元素成比例，则此行列式等于零
性质5：若行列式的某一行(列)的元素都是两数之和，例如第j列的元素都是两数之和

线性方程组

二次型与正定性

二次型：n个变量的二次多项式称为二次型，即在一个多项式中，未知数的个数为任意多个，但每一项的次数都为2的多项式。
下面给出一个、两个、和三个变量的二次形式：

正定性：
1、正定矩阵的行列式恒为正；

2、实对称矩阵A正定当且仅当A与单位矩阵合同；

3、若A是正定矩阵，则A的逆矩阵也是正定矩阵；

4、两个正定矩阵的和是正定矩阵；

5、正实数与正定矩阵的乘积是正定矩阵。

ps.1.实对称矩阵：如果有n阶矩阵A，其矩阵的元素都为实数，且矩阵A的转置等于其本身（aij=aji），(i,j为元素的脚标），则称A为实对称矩阵
2.合同矩阵，两个矩阵A和B是合同的，当且仅当存在一个可逆矩阵 C，使得CTAC=B，则称方阵A合同于矩阵B。

矩阵分解

上个维基百科链接：https://en.wikipedia.org/wiki/Matrix_decomposition
ps.以后回来再看，搞不懂