深度学习第二阶段之线性代数③

特殊矩阵

方阵

斜对角阵(主对角线之外的元素皆为0的矩阵)

单位矩阵 (对角线上是1,其他都为零)

对称矩阵(与对角线对称)

零矩阵

稀疏矩阵(大部分是0,少部分有之值)
在这里插入图片描述

内积和投影

假设||B||=1(模长为1,单位向量)则有:
向量A与向量B的内积:等于A向B所在直线投影的矢量长度,就是向量A在单位向量B所在的坐标轴上的坐标值

余弦相似度

cos ⁡ θ = a x ⋅ b x + a y ⋅ b y ∣ ∣ A ∣ ∣ ⋅ ∣ ∣ B ∣ ∣ \cosθ = \frac{ax\cdot bx +ay\cdot by}{||A||\cdot ||B||} cosθ=ABaxbx+ayby

在这里插入图片描述
用余弦相似度(余弦距离)判断两个向量之间的距离(相似程度),还有一种方法是欧氏距离

余弦相似度,就是计算两个向量间的夹角的余弦值。余弦距离就是用1减去这个获得的余弦相似度。

余弦相似度与欧氏距离的关系

如果两个向量是二范数归一化的向量(模等于1),欧氏距离和余弦相似度成反比,与余弦距离成正比

相关性

在这里插入图片描述

线性变换

对于线性代数来说,函数的输入就是一个向量,而输出则是变换后的向量。
变换可以看成将每一个输入向量都移动到了对应输出向量的位置。
变换包括线性变换和非线性变换,这些变换可以对空间里的对象(即向量)进行升降维,缩放,旋转,平移和扭曲。比如,在神经网络中常见的是输入向量加权后再加上偏移量,最后放到激活函数里,即

y=σ(W⋅x+b)

矩阵作为向量的线性变换的描述,矩阵左乘向量,其结果就是将向量从一个位置变换(移动)到另一个位置;

矩阵作为一组基向量的线性变换的描述,矩阵左乘一个以一组基向量作为列向量的矩阵,就是把线性空间中的一个坐标系(由一组基向量决定)变换到另一个坐标系(由变换后的一组基向量决定)。

总结: 矩阵的乘法就表达了线性变换的过程

特征方程

在这里插入图片描述

A是矩阵,x是向量,λ标量

方程式左边的意义是 :变换矩阵A
后边的意义是:缩放向量

= (等价,效果等价而非相等)

λ 即特征值,x即特征向量(轴),特征值越大,即代表该变换在x向量的轴上越重要

相似矩阵

在这里插入图片描述

即由AP = PB 推导出来的,矩阵P是特征向量(x)的集合

所以A和B是等价的,称为相似矩阵

奇异值分解

在这里插入图片描述
对相似矩阵的延申

谱范数

在这里插入图片描述

  • 0
    点赞
  • 0
    评论
  • 0
    收藏
  • 一键三连
    一键三连
  • 扫一扫,分享海报

©️2021 CSDN 皮肤主题: 数字20 设计师:CSDN官方博客 返回首页
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值