《深度学习》-线代基础

最新推荐文章于 2022-05-12 01:46:02 发布

隐藏玩家

最新推荐文章于 2022-05-12 01:46:02 发布

阅读量331

点赞数

分类专栏：深度学习

本文链接：https://blog.csdn.net/weixin_43843978/article/details/100993777

版权

深度学习专栏收录该内容

9 篇文章 0 订阅

订阅专栏

前言：花了一个多月参加一个比赛，真的是心力交瘁，累！刚开始接触到深度学习的时候就知道花书了，看过一眼，但当时初见难免对这本算法有些畏惧，如今几个月过去了，对部分的算法也有些许的了解，抽出闲暇时间，休闲读。主要是大牛写的书，希望读的时候能有一个思维的跳跃。我将怀着一颗敬畏之心阅读每一本书。

线性相关和生成子空间

公式引入：
$\sum_ix_iA_{:,i}$
可以将 $A$ 的列向量看作从原点出发的不同放向，确定有多少种方法可以到达向量b，在这个观点下，向量x中的每一个元素表示应该沿这些方向走多远。
这个公式的速写形式与矩阵的乘法不一致，但是合理。这种每个向量乘以对应标量系数之后的和的操作叫做线性组合，即。
$\sum_ic_iv^{(i)}$
一组向量的生成子空间是原始向量线性组合后所能抵达的点的集合。

范数

L^P范数定义：
$||x||_{p} = (\max_i|x_i|^p)^{\frac{1}{p}}$
L1范数可以简化如下：
$||x||_1 = \sum_i|x_i|$
当机器学习问题中零和非零元素之间的差异非常重要时，通常会使用L¹范数。每当x中某个元素从0增加 $\in$ 的时候对应的L¹范数也会正加。

特征值分解

公式引入：
$\lambda v$
$\lambda$ 称为特征向量对应的特征值，v是A的特征向量，并不是唯一的，假设A有n个线性无关的特征向量V = ${v^{(1)}, ...., v^{(n)}\}$ 对应着特征值 $\lambda$ = $\{\lambda_{1}, \lambda_{2}, ...., \lambda_{n}\}$ 因此A的特征分解可以记作：
$Vdiag(\lambda)V^{-1}$
推导过程如下：
$\begin{aligned} AV & = \lambda V \\ A[v^{(1)}, ...., v^{(n)}] & = [Av^{(1)} ,Av^{(2)}, ..., Av^{(n)}] = [\lambda_1v^{1}, \lambda_2v^{2}, \lambda_nv^{n}] \\ \end{aligned}$
$\begin{aligned} Vdiag(\lambda) & = Vdiag[\lambda_1, \lambda_2, \lambda_n] \end{aligned} = [\lambda_1v^{1}, \lambda_2v^{2}, \lambda_nv^{n}]$
每个实例对称矩阵可以分解成实特征向量和实特征矩阵值：
$Q\Lambda Q^T$
其中Q是A的特征向量组成的正交矩阵， $\Lambda$ 是对角矩阵。特征值 $\Lambda_{i, i}$ 对应的特征向量是矩阵Q的第i列，计作 ${Q_{:,i}}$ ，因为Q是正交矩阵，我们可以将A看作沿方向 ${v^{(i)}}$ 延展 $\lambda_i$ 倍的空间。
所有特征值都是的正数的矩阵称为正定(positive definite)；所有特征值都是非负数的矩阵称为半正定(positive semidefinite),所有特征值都是负数的矩阵称为负定。

奇异值分解

将矩阵分解成为奇异向量和奇异值，其应用更加的广泛。
$A = UDV^T$

A: m*m的矩阵
U: m*m的矩阵
D: m*n的矩阵（定义为对角矩阵但不一定是方阵）
T : n*n的矩阵
对角矩阵D对角线上的元素称为矩阵A的奇异值，矩阵U的列向量为左奇异值向量，矩阵V的列向量称为右奇异向量。
A的左奇异向量是 $AA^T$ 的特征向量。A的右奇异值向量是 $A^TA$ 的右奇异向量。

Moore-Pemrose

对于非方阵而言其逆矩阵没有定义，我们希望通过A的左逆B来求解线性方程。
$A x = y$
等式两边左乘左逆B后，我们得到：
$x = B y$
当row_x = column_x 时，方程可能有一个解，当A的行数大于列数的时候方程可能是没有解的（约束项比要求的未知数的值要多），当行数下于列数，未知数的数量大于约束项的数量。
$A^+ = lim_{\alpha->0}(A^TA+\alpha I)^{-1}A^T$ ,当不知道A矩阵的行数列数时，逆矩阵是这么定义的。
计算伪逆的实际算法没有基于这个定义，（一般我们不会用定义来求解问题，当证明时候才会用到）：
$A^+ = VD^+U^T$
矩阵U,D和V是矩阵A奇异值分解后得到的矩阵。对角矩阵D的违逆 $D^+$ 是其非零元素取导数之后再转置得到的。
当矩阵A的列数多于行数时，使用伪逆求解线性方程是众多可能解中欧几里得范数 $x||_2$ 最下的一个。
当矩阵A的行数多于列数时，可能没有解，在这种情况下，通过违逆得到的x使得Ax和y的欧几里得距离 $∣ ∣ A x - y ∣ ∣$ 最下。