最简洁推导求解最小二乘法（线性回归，监督学习）

我们知道当X 为m*n的矩阵 输入，Y为m*1的输出。那么为了求出w

Xw = Y，我们可以用线性回归并让 预测值和真实值的差的平方最小，那么

w

证明过程：

矩阵结构为：

我们发现yTy是一个常数，也就是说在最小化loss的时候，我们可以不管yTy。

我们对loss函数进行偏微分，这里用到了一个矩阵微分公式，在matrix cookbook里有.

第10页。

aTw 就微分为a了 。

第11页

wTBw就微分为 （B + BT）w，而B等于BT，因为  BT = （XTX）T = XT XTT = XTX = B。所以化简为2Bw.

最后把B的代数式代回原式中就行了。