深度学习第二阶段之线性代数③

特殊矩阵

方阵

斜对角阵（主对角线之外的元素皆为0的矩阵）

单位矩阵 （对角线上是1，其他都为零）

对称矩阵（与对角线对称）

零矩阵

稀疏矩阵（大部分是0，少部分有之值）

内积和投影

假设||B||=1（模长为1，单位向量）则有：
向量A与向量B的内积：等于A向B所在直线投影的矢量长度，就是向量A在单位向量B所在的坐标轴上的坐标值

余弦相似度

$\cos \theta =\frac{ax\cdot bx+ay\cdot by}{||A||\cdot ||B||}$

用余弦相似度（余弦距离）判断两个向量之间的距离（相似程度），还有一种方法是欧氏距离

余弦相似度，就是计算两个向量间的夹角的余弦值。余弦距离就是用1减去这个获得的余弦相似度。

余弦相似度与欧氏距离的关系

如果两个向量是二范数归一化的向量（模等于1），欧氏距离和余弦相似度成反比，与余弦距离成正比

相关性

线性变换

对于线性代数来说，函数的输入就是一个向量，而输出则是变换后的向量。
变换可以看成将每一个输入向量都移动到了对应输出向量的位置。
变换包括线性变换和非线性变换，这些变换可以对空间里的对象（即向量）进行升降维，缩放，旋转，平移和扭曲。比如，在神经网络中常见的是输入向量加权后再加上偏移量，最后放到激活函数里，即

y=σ(W⋅x+b)

矩阵作为向量的线性变换的描述，矩阵左乘向量，其结果就是将向量从一个位置变换（移动）到另一个位置；

矩阵作为一组基向量的线性变换的描述，矩阵左乘一个以一组基向量作为列向量的矩阵，就是把线性空间中的一个坐标系（由一组基向量决定）变换到另一个坐标系（由变换后的一组基向量决定）。

总结： 矩阵的乘法就表达了线性变换的过程

特征方程

A是矩阵，x是向量，λ标量

方程式左边的意义是 ：变换矩阵A
后边的意义是：缩放向量

= （等价，效果等价而非相等）

λ 即特征值，x即特征向量（轴），特征值越大，即代表该变换在x向量的轴上越重要

相似矩阵

即由AP = PB 推导出来的，矩阵P是特征向量（x）的集合

所以A和B是等价的，称为相似矩阵

奇异值分解

对相似矩阵的延申

谱范数