最小二乘法矩阵形式推导过程

关于矩阵求导部分，可以参考百度文库，讲的比较详细：

https://wenku.baidu.com/view/f7fa307a580216fc700afdb9.html

今天稍微回顾了一下最小二乘法的计算步骤，对于一般形式就不说了，对于矩阵形式，以前就没有搞得太明白，今天就仔细看了看，原来是矩阵球道的过程没有搞懂，现在计算如下：

现在形式如下：

的形式，其中，w为列向量，可以对b进行省略，将X改成如下所示：

那么回归方程就变成了如下所示

 

那么，关于最小二乘法的矩阵形式，就是求w，如下：

 

其中，这一步求导的计算过程如下所示

 

这里面的详细过程需要参考矩阵求导过程，比如百度文库中的。

然后这个式子为0，通过矩阵乘法展开，就可以得到

需要注意的是，因为这里面有逆的存在，因此要求为  满秩才可以