本文是 Least squares approximation 的学习笔记。这个视频从线性代数的角度,对最小二乘法的原理讲解的通俗易懂。
1 提出问题
![640dec766213d481737ea4d432638fdf.png](https://i-blog.csdnimg.cn/blog_migrate/f02d0db20754fda87a7afe6c8004307e.jpeg)
如上图所示:
A: 是一个n行k列的矩阵,每行可以看作是一个观测数据(或者一个训练样本)的输入(features);
b: 是一个n维的列向量,每项表示一个观测数据的目标值(ground truth target value);
x: 是一个k维的列向量,是需要构建的线性模型的参数。
我们希望通过已知的A和b,求解出一个x,使得Ax = b。 但是,一般情况下,不存在满足这个等式的x。 怎么办?
2 分析问题
Ax = b这个等式的左边,可以看作是一个矩阵A的列空间(Column space of A)。 这个等式没有解,可以理解为向量b不在矩阵A的列空间上。 如下图所示: