线性代数 应用

线性代数应用及原理介绍

前言

从大一就学习了线性代数的知识，当时学的时候只浮于表面，没有思考这个工具到底是什么作用，，也是因为这个原因吧，忘得也快。到大三准备夏令营了，才发现，忘得一干二净了。
线性代数还是有很多知识点的，由于每个应用都涉及了很多线性代数基础知识点，所以本篇文章先总结了线性代数基础知识点，以便于后面的理解。

线性相关

行列式 逆矩阵 初等矩阵与初等变换

初等矩阵
对单位阵做一次初等变换的矩阵
对于m×n的矩阵，做初等行变换，相当于左乘变换矩阵；初等列变换，相当于右乘变换矩阵

利用矩阵解线性方程组 & 矩阵的秩

矩阵的特征值&特征向量

相似矩阵与相似对角化

正交矩阵 正交变换

那么下面就总结一下线性代数这个很牛的数学工具到底有哪些作用以及这些作用的原理吧。

应用一 线性回归

在线性回归中的最小二乘优化算法利用到了矩阵的知识，我们都知道机器学习中常用列向量表示变量，所以常用矩阵算法求解。最小二乘优化算法中使用了矩阵求导。
线性模型尝试学得f(x)=wx + b，使f(x)尽可能逼近样本x对应的真实标记y，而这个所谓的逼近程度则可以使用均方误差（Mean Square Error，MSE）来进行衡量：

矩阵求导

应用二 PCA降维 主成分分析

也是参考了一篇关于奇异值分解的文章并进行的总结。
https://blog.csdn.net/qq_32742009/article/details/82286434?spm=1001.2014.3001.5502]


这是SVD的基本概念，至于其应用与特征向量之间的关系，以及PCA降维，将在后面再补充吧。。。写不动啦。