最小二乘法求解的两种表示方法

问题表述：

有训练数据集$T=\{(x_1,y_1),(x_2,y_2),\cdots,(x_N,y_N)\}$,其中，样本个数为N，每个样本有m个属性，$x_i\in R,y_i\in R$, 预测未知样本集的输出。
很明显这是一个回归问题，我们想要求出一个回归函数 $h_w(x)$（在线性回归下可以表示成$h_w(x)=\sum_{i=0}^mw_i\cdot x_i=x^Tw$） ，使其在未知样本集得到期望的输出，一个很好的思路即是希望在已知的训练数据集上得到的输出$h_w(x^{(i)})$与真实值$y^{(i)}$足够小。于是我们可以定义一个损失函数

$$J(w)=\frac{1}{2}\sum_{i=1}^N(h_w(x^{(i)})-y^{(i)})^2$$ 则我们的目的是使得损失函数最小。

1.通用的表示方式

我们使用梯度下降法来求解损失函数最小。即通过每次更新w,w更新的方向是损失函数对w的负梯度方向，每次更新之后损失函数都会变得更小，直到不能减小为止。包括两个步骤：1、初始化w;2、对w更新

• inital $w$
• repeat :
  
  • $w_j=w_j-\alpha \frac{\partial J(w)}{\partial w_j}$

  其中，$\alpha$为步长，控制每次更新的幅度，而 ∂J(w)∂wj