深度学习涉及到的线性代数知识点总结（二）

---

一、余弦相似度和欧式距离的关系

如果对向量模长进行归一化，欧式距离和余弦相似度有如下计算关系：

● 适用场景
       余弦相似度计算的向量的夹角，它并不关心向量的绝对大小。
       欧式距离体现的是数值上的绝对差异。

● 结论
       做了标准化后，余弦相似度与欧式距离成正比（等价性）。

二、相关性

● 公式

相关性分为线性相关（正、负）和线性无关、

● 通俗理解
       你可以把向量想成一个一个的人，这些人构成一个小组(以下举例A、B、C三人）。
       线性相关：如果该组有一个人（A）能完成的工作，其他成员（B+ 0C、0B+C、K1B+K2C…)也能完成，那么该人就是“多余”的，没有他工作也能完成。

       线性无关：该组每个人都是各个领域的大牛，没有其他人能代替他们完成相应的工作，他们独一无二的，少了一个都不行。
       在高等数学里面，向量二维和三维相关，就是共线（坐标对应成比例）和共面的问题。。

三、基

● 正交基
       不相关的（正交）向量组成的空间。

两个向量相乘为0称这两个向量正交，零向量与任何向量正交。

● 标准基
       标准基表示一组长度为1的基

● 标准正交基
       标准正交基表示一组长度为1且两两正交的基。

● 完备基
       由两两不相关的正交基组成的方阵，它能够表达一个完整的空间。
       在这个空间中的任何一个点，都可以由这三个基(轴)来表示。

● 欠完备基
       不能够表达一个完整空间的基的组合，比如非正交基的组合以及非方阵的组合，比如用两个向量表示一个三维空间，或者用四个向量表示一个三维空间(必定存在两个向量是相关的)

四、线性变换

● 本质
       给一个向量乘以一个变换矩阵(完备基)，形成新的向量，这个新的向量就是被变换后的向量。一个向量A和另一个向量B的内积，相当于A在B上的投影(投影会降维)，乘以矩阵就是多段投影。

● 方法

1. 在当前空间坐标系中改变目标向量(标量、矩阵)
2. 目标向量(标量、矩阵)和当前栈空间坐标系作为整体一起改变。

● 图形

       对一个向量x的变换步骤:把x的特征分解到一个新的矩阵A的轴.上，然后再用分解到这个矩阵A的轴上的特征乘以原来的轴，得到新的特征，新的矩阵轴上的新的特征交点就是变换后的向量Ax.

五、仿射变换

       仿射变换（Affine Transformation或 Affine Map）是一种二维坐标到二维坐标之间的线性变换，它保持了二维图形的“平直性”（即：直线经过变换之后依然是直线）和“平行性”。
（即：二维图形之间的相对位置关系保持不变，平行线依然是平行线，且直线上点的位置顺序不变）。

六、矩阵特征方程

● Ax = λx
       含义:一个矩阵A乘以一个(特征向量)向量x等于一个标量(特征值) λ乘以一个(特征向量)向量x。

● 推理公式：vAx = vλx

1. 等式左边: 一个向量v乘以一个矩阵A,相当于对向量v做了一次线性变换，然后变换后的v向量再乘以一个特征向量x，就相当于变换后的v向量在x向量上的投影，是一个标量。
2. 等式右边:一个向量v乘以一个标量(特征值) λ,相当于对这个向量做一个一次线性变换， 然后变换后的向量v再乘以一个特征向量λ，相等于变换后的v向量在x向量上的投影，也是一个标量。

● 意义

1. 使用标量λ来代替矩阵A，主要是为了方便观察这个向量v在变换后在向量x上投影的变化方向。
2. 特征值λ就是向量v经过变换后投影到x上的值，特征值λ越大，说明这个向量v在这个x轴上的变换越大，越重要。

● 目的
       表示一个向量变化之后在某个轴上的投影。

● 图像

● 推理
       AX=λX, λX-AX=0，可得(λE-A) X=0

七、相似矩阵

● 公式

● 条件
       要求P是正交阵，否则需要通过求伪逆的方式实现。

● 意义

1. 对一个矩阵做相似变换
2. 想把一个矩阵A变成矩阵B,只需要找到一个矩阵P，做一个相似变换即可。
3. 相似矩阵的本质就是两组不同的基都代表了同一个空间，这两组基之间存在一个转换关系，就是矩阵P.

● 公式推导
       因为P是正交阵，所以P^(-1)AP= B可以写成P^TAP=B。

● 变换公式

1. P^(-1)AP=B， PP^(-1)=E, AE=A, A=B
2. AP=PB，A=B, A和B就是相似矩阵P
3. 用AP= PB对比特征方程Ax=λx,发现二者非常相似， 如
   果把x和λ都换成矩阵P和B，特征方程的公式就可以是
   AP=BP

● vAP = vPB

八、奇异值分解

● 定义
       相似矩阵P^(-1)AP=B中，当P不是方阵的时候，A矩阵
的特征值被称为奇异值。

● 公式
       A=U∑V^T

● 推理
       可见，特征值只是相对于方阵而言的，而奇异值是相对于所有矩阵而言的，可以认为特征值是一种特殊的奇异值。
       因为在P^(-1)AP=B中，P不是方阵，所以公式被写成了
A=U∑V^T。

● 意义

1. 可以做推荐系统算法
2. 降维，取消不重要的奇异值

九、谱范数

● 定义
       最大的特征值被称为矩阵的谱范数

● 简述

1. 矩阵的特征值被称为谱
2. 用谱范数做归一化被称为谱范数归一化

● 应用
       例如度量一个矩阵的大小，判断算法是否收敛等。