[1]主成分分析及线性代数知识补充

最新推荐文章于 2022-07-15 15:42:01 发布

GrandpaDZB

最新推荐文章于 2022-07-15 15:42:01 发布

阅读量347

点赞数

分类专栏：深度学习笔记

本文链接：https://blog.csdn.net/grandpadzb/article/details/116500410

版权

本文详细介绍了线性代数的基础知识，包括范数的概念及其类型，奇异值分解（SVD）的原理与应用，以及Moore-Penrose伪逆的解释。接着，文章深入探讨了主成分分析（PCA），解析了如何寻找最优编码c*和编码矩阵D*，展示了PCA在数据降维中的作用，旨在最大化保留数据特征。

摘要由CSDN通过智能技术生成

1 线性代数知识补充

1.1 范数

范数是将向量映射成一个非负数的函数，即 $f:\mathbb{R}^n\longmapsto\mathbb{R}^+$
严格说，对于 $\textbf{x,y}\in\mathbb{R^n}$ 应该满足性质：

$f(\textbf{x}) = 0 \Rightarrow \textbf{x} = 0$
$f(\textbf{x}+\textbf{y}) \le f(\textbf{x}) + f(\textbf{y})$
$\forall \alpha\in\mathbb{R},f(\alpha\textbf{x}) = |\alpha|f(\textbf{x})$

最常用的范数形式之一 $L^p$ 范数定义为：
$\Vert \textbf{x} \Vert_p = (\sum_i|x_i|^p)^\frac{1}{p}\\ for\ p\in\mathbb{R},p\ge1$

二范数是向量的欧氏距离
一范数是元素绝对值之和
无穷范数是元素绝对值的最大值

在深度学习中，为了衡量矩阵的大小，最常见的做法是使用Frobenius 范数，即
$\Vert \textbf{A}\Vert_F=\sqrt{\sum_{i,j}A^2_{i,j}}$
(矩阵所有元素平方和开根号)

1.2 奇异值分解(singular value decomposition)

奇异值分解(SVD)是将矩阵分解为奇异值和奇异向量，它最有用的性质在于，可以拓展矩阵求逆到非方阵上，这将在1.3中进行讨论。

对于矩阵 $\textbf{A}_{m\times n}$ ，可以分解为
$\textbf{A}=\textbf{U}_{m\times m}\textbf{D}_{m\times n}\textbf{V}^T_{n\times n}$
其中要求U和V为正交矩阵，D为对角阵（不一定为方阵）

D对角上的元素称为A的奇异值
U称为左奇异向量
V称为右奇异向量

由于
$\textbf{A}\textbf{A}^T = \textbf{U}\textbf{D}\textbf{V}^T\textbf{V}\textbf{D}^T\textbf{U}^T\\ \textbf{A}\textbf{A}^T = \textbf{U}\textbf{D}\textbf{D}^T\textbf{U}^T\\$
因为D不一定是方阵对角阵，这里不妨设 $\textbf{D}=[\Lambda \ \ \textbf{O}]$
则有
$\textbf{D}\textbf{D}^T=[\Lambda \ \ \textbf{O}] \left[ \begin{matrix} \Lambda \\ \textbf{O} \end{matrix} \right]=\Lambda^2_{m\times m}$