最小二乘法之求和与矩阵互转

背景

在多元线性回归里面，我们得到了一个最小二乘法的公式。在机器学习里面，我们更喜欢把公式转化为矩阵的形式。

今天，老师给我们出了一道题目，说：请把最小二乘法从公式到矩阵的推导过程写出来。

我推到了两天，都没推导出来。hahhaha~，我当时就没有理解到老师的意思。她说的推导和我理解的推导，然而不完全一样。

那么，下面就来说说。最小二乘法从公式到矩阵的演变过程(简单版)。

---

公式了解

$最小二乘法(least square method):$

$求和形式：$

$$\begin{align*} (w^*,b^*) &=\mathop{\arg\min}_{(w,b)} \sum_{i=1}^m (f(x_i)-y_i)^2 \\ & =\mathop{\arg\min}_{(w,b)} \sum_{i=1}^m (y_i - wx_i - b)^2 \end{align*}$$

$矩阵形式：$

$$\hat w^* = arg min(y-X\hat w)^T(y-X\hat w)$$

$参数详解:$

参数	行列	具体形式
$X$	$X \in R^{m\times{(d+1)}}\\m行,d+1列$	⎛⎝⎜</