线性代数的应用场景

最新推荐文章于 2025-02-20 08:37:04 发布

Hαlcyon

最新推荐文章于 2025-02-20 08:37:04 发布

阅读量5.4k

点赞数 6

分类专栏：数学机器学习文章标签：线性代数 pca降维线性回归 pagerank算法机器学习

本文链接：https://blog.csdn.net/qq_41858347/article/details/106324016

版权

本文详细介绍了线性代数在机器学习中的重要性，包括矩阵运算、迹、范数、矩阵逆、特征值分解、SVD分解等概念，并通过线性回归、主成分分析（PCA）和PageRank算法的应用实例展示了这些理论的实际价值。通过学习，可以理解线性代数如何为数据可视化、模型降维和网页排名提供数学基础。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

机器学习与线性代数

自打我开始学习机器学习的相关知识以来，线性代数就一直是制约我读懂算法的最大短板。尽管经过大概两个月的学习，我的代数知识积累似乎已经足以让我不害怕任何数学推导了，但是毕竟是将来要赖以生存的本领，如果有一天忘记了它们我会很沮丧的。所以这里我还是决定整理一下与机器学习相关的所有数学知识，方便随时查阅，杜绝忘却。
笔记将以花书《深度学习》为思维导向，从底到上梳理各种可能用到的数学知识。

代数的运算律

和标量类似的运算律有分配律、结合律，而一般不满足交换律，因为代数是有维度的。
$\neq BA \qquad exp: (2x3)\times (3x2) = (2x2) \quad but \quad (3x2)\times (2x3) = (3x3)$
此外代数可以转置，也就是沿对角线反转矩阵。代数乘积的转置满足
$AB)^T = B^TA^T$

迹

$\sum_iA_{i,i}$
只看这个定义看不出什么，体验它的作用还是在实践中。它有着非常好用的交换律，即使两个矩阵一个是nxn一个是mxm
$T r (A B) = T r (B A)$

范数

范数可以把向量映射为非负标量
$||x||_p = (\sum_i|x_i|^p)^{\frac{1}{p}}$
范数常用来评估高维空间中的距离，经典的应用就是正则化和聚类。常用的范数有L1范数，即曼哈顿距离，L2范数即欧几里得距离，有时还会使用Linf范数，即计算向量中最大幅值元素的绝对值。

矩阵逆

单位矩阵一般写成 $I$ ，是对角线元素为1其他为0的方阵。为此我们有矩阵的逆矩阵的定义
$A^{-1}A = I$
做题和考试时求矩阵逆我们可能会采取手算的方法，就是通过多次基本矩阵变换把A变成I，这是同样把这些操作施加于单位矩阵上，就得到逆矩阵。矩阵可逆的条件是矩阵正定，即矩阵中不存在线性相关项。同时，单位正交矩阵的逆矩阵就是它自己的转置。

特征值分解

应某些问题需要，我们经常会用到矩阵对角化的运算。对一个方阵B，我们希望得到
$B = P^{-1}AP$
其中A是对角矩阵，即对角线上的元素非零其他为零。而P是单位正交矩阵，单位正交矩阵的每一列对应的列向量都是单位向量，且两两正交。也就是满足
$\{\lambda_1,...,\lambda_n\}$
$P^TP = I$
这样的矩阵分解方法也可以写成多个向量外积的加和
$\lambda_1 p_1p_n^T+...+\lambda_np_np_n^T$
这种分解得到的对角矩阵中的标量称为特征值，每个特征值都会对应一个特征向量。一般的矩阵不一定能对角化，但是对称矩阵一定可以对角化。正定矩阵的特征值都是非负的。