机器学习数学基础之线性代数

（本文为学习总结笔记，如有雷同请无视）

1. 矩阵基本知识

1.1 矩阵标识形式

1、在机器学习领域，一般一个大写字母 A 描述的是一个矩阵，用中括号表示的一个矩阵。

表示一个m行n列的矩阵。

1.2 矩阵形式表示图片 (Minst数据集)

把图片转化为矩阵进行识别，依然是0-1之间的数值表示

传入多张图片时，把图片的数量视为矩阵的行数，每一行表示一个图片（2828=784）。如下图表示55000张图片，每张图片的大小时2828=784。

2. 矩阵的运算和在回归中的应用

2.1 同型矩阵

形状相同，行相同且列相同的矩阵即为同型矩阵，如：
（同型矩阵才可以进行加减运算）

2.2 矩阵的乘积

1、矩阵的数乘即一个数和矩阵中的每个数字相乘。
2、矩阵的乘法：（第a行×第b列=第a行×b列的得数）

2.3 回归中的矩阵运算

训练深度学习模型：
1、给出55000张图，学习得出10列行数：

2、如上，应用线性回归函数：
$$Y=X\ast W+b$$
再结合softmax函数整合进行得出，找出最合理最优的W和b的数值，进行预测。

X形状是 55000×784
Y形状是 55000×10

因此：
W形状是 784×10
b形状是 55000×10

3. 特殊的矩阵

3.1 方阵

方阵的行数=列数

3.2 单位矩阵

用I或者E表示，单位矩阵一定是方阵。其余的数值全为0。
且矩阵的行列式为1

3.3 矩阵的转置

转置矩阵的性质：
$$(A\times B{)}^T=B^T\times A^T$$

$$(A^T{)}^T=A$$

3.4 正交矩阵

如果
$$A\times A^T=E$$
则A为正交矩阵。

3.5 三角矩阵

3.6 行列式

行列式即衡量矩阵参与矩阵乘法后，空间扩大或者缩小了多少

沙路法

对于一个3×3的矩阵，进行扩展，如形成3×5的矩阵：

3.7 奇异矩阵

奇异矩阵的两个性质：
1.方阵
2.行列式值为0

4. 向量与基本运算

4.1 向量

一个向量是一列数，有序排列，通过次序中的索引，可以确定每一个单独的数。

4.2 向量的基本运算

矩阵A乘以向量x，等于b

因此得出结论：
矩阵乘以向量，结果一定为一个向量

5. 矩阵特征值和特征向量★

一个矩阵可以被分解为一组特征向量和特征值，但此矩阵必须是一个方阵

5.1 特征值与特征向量

1、基本概念
特征向量：矩阵有多少个特征，代表特征
特征值：此特征值对应的特征向量的重要性，代表特征向量是否重要

方阵A的特征向量：指与A相乘后相当于对该向量进行缩放的非零向量v：
$$Av=\lambda v$$
（λ表示向量的长短）

2、降维操作：
通过提取特征值较大的特征向量，降低计算量

3、特征值、特征向量的计算

相乘后方向没有改变的向量即为特征向量。

5.2 特征值与特征向量的计算

$$Av=\lambda v$$

$$A\overrightarrow{v}-\lambda \overrightarrow{v}=0⟹\overrightarrow{v}(A-\lambda I)=0$$
其中的 I 为单位矩阵。
因此得：行列式为零
$$|A-\lambda I|=0$$
求特征值：

求特征向量

由于求出了非具体值，因此任意两个相反数都可以代表此两个特征向量。

上述向量
$$\left[\begin{array}{c}\frac{1}{\sqrt{2}}\\ -\frac{1}{\sqrt{2}}\end{array}\right]$$
即为标准化特征向量，其平方和为1

6. 奇异值分解★

非方阵的矩阵的分解
$$A=UD{V}^T$$

证明：

举例：

综上，由A分解求出了U、D和V