机器学习中线性代数（1）

杉山纪彰_枫

于 2023-04-09 23:43:16 发布

阅读量580

点赞数 1

文章标签：机器学习线性代数算法

本文链接：https://blog.csdn.net/m0_58983951/article/details/130047870

版权

一.基本知识

矩阵的F范数：设矩阵 $A=(a_{i,j})_{m\times n},$ 则其F范数为： $\left \| A \right \|_{F}=\sqrt{\sum _{i,j} a_{i,j}^{2}}$ 描述的是两个矩阵之间的距离，它是向量的 $L_{2}$ 范数的推广。

矩阵的迹：设矩阵 $A=(a_{i,j})_{m\times n},$ ，则A的迹为：tr(A)= $\sum _{i,j} a_{i,j}^{2}$

F范数等于 $AA^{T}$ 的迹的平方根： $\left \| A \right \|=\sqrt{tr(AA^{T})}$

矩阵的迹满足：1.本身的迹与转置后的相等

2.交换律：假设 $A\in R ^{n\times m},B\in R ^{m\times n}$ ,则有tr(AB)=tr(BA)

3.结合律：tr(ABC)=tr(CAB)=tr(BCA)

二.向量操作

判断向量的相关性，向量的点积，叉积，

三维向量的混合积： $[\underset{u}{\rightarrow},\underset{v}{\rightarrow},\underset{w}{\rightarrow}]=(\underset{u}{\rightarrow}\times \underset{v}{\rightarrow})\cdot \underset{w}{\rightarrow}=\underset{u}{\rightarrow}(\underset{v}{\rightarrow}\times \underset{W}{\rightarrow})$

两个向量的并矢：给定两个向量 $\underset{x}{\rightarrow}=(x_{1},x_{2},x_{3},x_{4},...x_{n})^{T},\underset{y}{\rightarrow}=(y_{1},y_{2},y_{3},y_{4},...y_{n})^{T},$ 则向量的并矢记作：也记作 $\underset{x}{\rightarrow}\bigotimes \underset{y}{\rightarrow}$ 或者 $\underset{x}{\rightarrow}\underset{y}{\rightarrow}^{T}$

三.矩阵运算

逐元素积（阿达马积Hadamard product）

克罗内积（kronnecker product）

2.设 $\underset{x}{\rightarrow}$ , $\underset{a}{\rightarrow}$ , $\underset{b}{\rightarrow}$ , $\underset{c}{\rightarrow}$ 为n阶向量，A,B,C,X为n阶方阵，则有：

(1)按个人的经验理解主要出现在线性回归，CNN等神经网络中求解权重时用到。

（2）不难理解可以看作输入的是图片，求解网络每一层的权重时用到。

（3）不难看出与上个式子十分相似，不如说是一个特例。

(4）当两个向量相同时，求解方阵相乘，也是机器学习中的一个重要问题，可以运用到矩阵分解，深度学习中的梯度计算，特征提取和降维。

矩阵分解是机器学习中经典问题之一，通过矩阵相乘，可以将原始矩阵分解成由若干个小矩阵组成的乘积形式，常用的放法是奇异值分解（SVD）,其中对SVD求解过程对矩阵求导可以运用。

深度学习中的梯度计算，求解梯度来更新模型权重当神经网络的输入输出相同时，有可能用到。

特征提取和降维，特征提取和降维是机器学习中的常用技术之一，将原始数据映射到低维度的特征空间中，减少计算复杂度和冗余信息，在特定情况下，可以使用。

补充：

因为提到特征选择与提取，就顺便说一下，这对模型的性能有着非常大的影响，通常情况下我们通过增加特征的维度来提高模型性能，对于复杂的问题，特征的维度很大，模型需要处理大量的原始特征和特征之间的相关关系，在提高模型性能之前，我们需要在特征空间中先升高维度，然后通过特征选择和提取技术来降低维度，同样的先升高维度，又降低维度的还有数据增强等技术手段。

特征选择和提取常见的手段还有，方差选择，相关性选择，主成分分析，独立成分分析，特征学习等方法。

杉山纪彰_枫

关注

1
点赞
踩
2

收藏

觉得还不错? 一键收藏
2
评论
机器学习中线性代数（1）

因为提到特征选择与提取，就顺便说一下，这对模型的性能有着非常大的影响，通常情况下我们通过增加特征的维度来提高模型性能，对于复杂的问题，特征的维度很大，模型需要处理大量的原始特征和特征之间的相关关系，在提高模型性能之前，我们需要在特征空间中先升高维度，然后通过特征选择和提取技术来降低维度，同样的先升高维度，又降低维度的还有数据增强等技术手段。(4）当两个向量相同时，求解方阵相乘，也是机器学习中的一个重要问题，可以运用到矩阵分解，深度学习中的梯度计算，特征提取和降维。判断向量的相关性，向量的点积，叉积，
复制链接

扫一扫