矩阵求导得最小二乘法&最小二乘法的几何解释

首先我们需要矩阵求导的相关知识

接下来就是利用矩阵求导来推导最小二乘法了

线性方程组

该方程组可能无解，即任何一组x1,x2,...,xs(这里是系数)都可能使得

不等于零。所以找到一组x1,x2,...,xs使得(2)式最小

对于（１）式，我们可以用矩阵来表示自变量矩阵

自变量矩阵A：

函数值B:

系数X：

函数值Y：

故（２）式等价于：

也就是说，最小二乘法就是找x1,x2,...,xs使得Y与B距离最短

对于（4）式Y，可以写成如下形式：

其中为对应的列向量，由生成的子空间为，那么Y就是中的向量，故最小二乘法问题可叙述成

设Y=AX=,则

C = B - Y = B - A X

必须垂直于只子空间，故有

由向量内积的定义可知：

由（6）式可得：

即：

从而有：

其中

最小二乘法的几何解释

注：该PPT为本人自制