ML算法——线代预备知识随笔【机器学习】

数学预备知识

3、线性代数

3.1、矩阵奇异值分解（SVD）

矩阵分解的本质是将原本复杂的矩阵分解成对应的几个简单矩阵的乘积的形式。使得矩阵分析起来更加简单。很多矩阵都是不能够进行特征值分解的。这种情况下，如果我们想通过矩阵分解的形式将原本比较复杂的矩阵问题分解成比较简单的矩阵相乘的形式，会对其进行奇异值分解。

将普通矩阵分解为奇异向量和奇异值，对于一个m x n的矩阵A，其奇异值分解可以表示为：

$$A=U\Sigma V^T$$

其中，U是一个m x m的正交矩阵，Σ 是一个m x n的矩阵，其对角线上的元素称为奇异值，Σ 不一定是方阵V是一个n x n的正交矩阵。

Σ对角线上的元素被称为A的奇异值。

U的列向量：左奇异向量

V的列向量：右奇异向量

对角阵不是方阵，这说法头一次见，如何确定Σ的元素？

$A{A}^T、A^{T}A$的特征值相同，假设特征值为${\lambda }_1、{\lambda }_2、{\lambda }_3$，Σ中元素为${\sigma }_1、{\sigma }_2、{\sigma }_3$

$${\sigma }_1=\sqrt{{\lambda }_1}$$

同理：

$${\sigma }_2=\sqrt{{\lambda }_2}$$，$${\sigma }_3=\sqrt{{\lambda }_3}$$，

求得的σ只选取非零的。

如何确定Σ主对角线位置？

【这里我反复被网上的对角阵可以不是方阵？非方阵如何确定对角线位置？的各种矛盾回答搞晕了，奇异值分解的博客很少提到σ的排列问题，浪费了很多时间，最终在周志华的《机器学习》附录中找到了准确描述。视频在数学预备知识这部分讲得稀烂，没有复看的价值😒。】

$${\Sigma }_{ii}={\sigma }_i$$，其他未知元素均为0，常将奇异值按降序排列，确保Σ的唯一性。

如何求解U？

求解$A{A}^T$的特征值 $\lambda$，进而求得特征向量 μ，组成矩阵 U 。

如何求解V？

求解$A^{T}A$的特征值 $\lambda$，进而求得特征向量 μ，组成矩阵 V 。

如果A是正定矩阵可以进行特征值分解，奇异值分解又是怎样的结果？

若矩阵A可以通过正交变换法实现相似对角化$$x^{T}Ax=\Lambda 、A=x\Lambda x^T$$，那么：

$$u=x$$

$$\Sigma =\Lambda$$

$$V^T=x^T$$

此时，奇异值分解结果与正交变换法实现的相似对角化完全一致。

3.2、广义逆矩阵（Moore-Penrose ）

逆矩阵的推广，对任一 m×n 阶矩阵 A，都存在惟一的 n×m 阶矩阵 X，它满足：

1. AXX = X
2. XAX = X
3. (AX)* = AX
4. (XA)* = XA

则称 X 为 A 的 Moore-Penrose 广义逆矩阵，简称 M-P 逆，记为 A⁺。

计算 $A^{+}$的实际算法基于以下公式：

$$A^{+}=V{\Sigma }^{+}{U}^T$$ （奇异值分解）

$\Sigma +$ 由 Σ 转置得到。

广义逆矩阵有什么用？

判断线性方程组有解，当遇到线性方程组 Ax=b 中求解x困难的情况，可以使用广义逆矩阵来判断。

Ax = b，解存在的条件为：

当且仅当 $A^{+}b$为其中一个解，即 $$A{A}^{+}b=b$$

广义逆矩阵在机器学习中有什么用？

1. 最小二乘问题：在机器学习中，最小二乘问题是一种常见的问题，例如在线性回归中，目标是最小化预测值与实际值之间的误差。在这种情况下，可以使用广义逆矩阵来求解最小二乘问题，从而提高模型的拟合效果。
2. 矩阵逆的估计：当遇到矩阵逆难以直接计算的情况时，可以使用广义逆矩阵来估计矩阵的逆。例如，在PageRank算法中，可以通过使用广义逆矩阵来计算网站的PageRank值。
3. 特征值和特征向量的求解：在机器学习中，特征值和特征向量通常用于对数据进行降维或进行模型训练。当遇到求解矩阵的特征值和特征向量困难的情况时，可以使用广义逆矩阵来求解。
4. 隐式建模：在一些机器学习问题中，需要对数据进行建模。但是，有时数据无法直接建模或无法通过常规方法求解。在这种情况下，可以使用广义逆矩阵来拟合数据，从而实现隐式建模。

3.3、数据白化（Data Whitening）

观测数据x组成实对称矩阵$x{x}^T$，其特征向量组成U， $x{x}^T=U^T\Sigma U$

令：

$$\tilde{x}=U^T{\Sigma }^{-0.5}U\cdot x$$

则：

$$\tilde{x}{\tilde{x}}^T=(U^T{\Sigma }^{-0.5}U\cdot x)(U^T{\Sigma }^{-0.5}U\cdot x{)}^T$$

$$=(U^T{\Sigma }^{-0.5}U\cdot x)(x^T{U}^T{\Sigma }^{-0.5}U)$$

$$=U^T{\Sigma }^{-0.5}U\cdot (x{x}^T)U^T{\Sigma }^{-0.5}U$$

$$=U^T{\Sigma }^{-0.5}U\cdot (U^T\Sigma U)U^T{\Sigma }^{-0.5}U$$

$$=I$$

在机器学习中数据白化的意义？

数据白化是一种有用的数据预处理技术，数据白化的主要作用是使数据符合正态分布，从而更易于使用传统的机器学习算法进行处理。在数据白化之后，数据的均值和方差都为零，并且各维度之间的相关性为零。这有助于消除数据中的冗余信息。数据白化还可以提高算法的收敛速度和训练效果。因为数据白化可以降低数据之间的相关性，所以可以减少算法的过拟合风险，并且使算法更容易找到最优解。

3.4、向量导数

向量矩阵求导，本质是多元函数求导，矩阵比多元函数，在表达上更简洁方便。

向量偏导公式

$$\frac{\partial Ax}{\partial x}=A^T\text{\hspace{1em}(formula-1)}$$
$$\frac{\partial Ax}{\partial x^T}=A\text{\hspace{1em}(formula-2)}$$
$$\frac{\partial (x^{T}A)}{\partial x}=A\text{\hspace{1em}(formula-3)}$$

x为列向量，A为矩阵。

线性回归中直接用。

求导结果的布局？

标量、向量、矩阵 对 标量、向量、矩阵 求导，共9种情况。

分子布局，分母布局两种布局。

标量对向量的求导

分母布局。

$$y=x^{T}Ax$$

$$y=x^{T}Ax$$ 结果为1 * 1，标量

$$\frac{\partial y}{\partial x}=\frac{\partial (x^{T}Ax)}{\partial x}=(A+A^T)\cdot x$$

推导：

$$\frac{\partial (xTAx)}{\partial x}$$

$$=\frac{\partial (xAx)}{\partial x}$$

$$=\frac{\partial x}{\partial x}\cdot Ax+\frac{\partial x}{\partial x}{A}^{T}x$$

$$=Ax+A^{T}x$$

$$=(A+A^T)x$$

若 A 为对称阵，则有:

$$\frac{\partial (x^{T}Ax)}{\partial x}=2Ax$$

4、其它

奇异矩阵

若A可逆，则称A为非奇异方阵，也就说若A不是满秩，则为奇异矩阵。

$I_n$

单位矩阵。

$exp()$

$exp(2)=e^2$

用过的数学符号

Σ，σ，拼音输入：西格玛

ξ，拼音输入：柯西

μ，拼音输入：miu

θ，拼音输入：西塔

λ，拼音输入：lambda

γ，拼音输入：伽马

Λ

φ

Φ(x)

η，拼音输入：yita