特殊矩阵
方阵
斜对角阵(主对角线之外的元素皆为0的矩阵)
单位矩阵 (对角线上是1,其他都为零)
对称矩阵(与对角线对称)
零矩阵
稀疏矩阵(大部分是0,少部分有之值)
内积和投影
假设||B||=1(模长为1,单位向量)则有:
向量A与向量B的内积:等于A向B所在直线投影的矢量长度,就是向量A在单位向量B所在的坐标轴上的坐标值
余弦相似度
cos θ = a x ⋅ b x + a y ⋅ b y ∣ ∣ A ∣ ∣ ⋅ ∣ ∣ B ∣ ∣ \cosθ = \frac{ax\cdot bx +ay\cdot by}{||A||\cdot ||B||} cosθ=∣∣A∣∣⋅∣∣B∣∣ax⋅bx+ay⋅by
用余弦相似度(余弦距离)判断两个向量之间的距离(相似程度),还有一种方法是欧氏距离
余弦相似度,就是计算两个向量间的夹角的余弦值。余弦距离就是用1减去这个获得的余弦相似度。
余弦相似度与欧氏距离的关系
如果两个向量是二范数归一化的向量(模等于1),欧氏距离和余弦相似度成反比,与余弦距离成正比
相关性
线性变换
对于线性代数来说,函数的输入就是一个向量,而输出则是变换后的向量。
变换可以看成将每一个输入向量都移动到了对应输出向量的位置。
变换包括线性变换和非线性变换,这些变换可以对空间里的对象(即向量)进行升降维,缩放,旋转,平移和扭曲。比如,在神经网络中常见的是输入向量加权后再加上偏移量,最后放到激活函数里,即
y=σ(W⋅x+b)
矩阵作为向量的线性变换的描述,矩阵左乘向量,其结果就是将向量从一个位置变换(移动)到另一个位置;
矩阵作为一组基向量的线性变换的描述,矩阵左乘一个以一组基向量作为列向量的矩阵,就是把线性空间中的一个坐标系(由一组基向量决定)变换到另一个坐标系(由变换后的一组基向量决定)。
总结: 矩阵的乘法就表达了线性变换的过程
特征方程
A是矩阵,x是向量,λ标量
方程式左边的意义是 :变换矩阵A
后边的意义是:缩放向量
= (等价,效果等价而非相等)
λ 即特征值,x即特征向量(轴),特征值越大,即代表该变换在x向量的轴上越重要
相似矩阵
即由AP = PB 推导出来的,矩阵P是特征向量(x)的集合
所以A和B是等价的,称为相似矩阵
奇异值分解
对相似矩阵的延申