梯度下降法求解线性回归方程

定义线性回归方程 $h_w(x)$

$$\begin{array}{rl}{h}_w(x)& =w_0{x}_0+w_1{x}_1+w_2{x}_2+...+w_n{x}_n\\ & =\sum _{i=0}^n{w}_i{x}_i\\ & =w^{T}x\end{array}$$
注: $w^{T}x$ 代表所有$w_n$组成的一维矩阵的转置,矩阵计算会更方便

以二元线性回归为例,所有样本数据为S,样本量为$m$,预测函数为$h_w(x)$

$$\begin{array}{rl}& h_w(x)=w_0{x}_0+w_1{x}_1+w_2{x}_2\\ & S=\{(x^1,y^1),(x^2,y^2),(x^3,y^3),...,,(x^m,y^m)\}\end{array}$$
则对于任意一点$(x^i,y^i)$误差为:
$${\epsilon }^i=y^i-w^T{x}^i$$
则衡量所有样本的误差程度的损失函数,使用均方误差$MSE$表示:
$$J(w_0,w_1)=\frac{1}{n}\sum _{i=1}^n(y^i-w^T{x}^i{)}^2$$

观察此方程$w_0,w_1$是方程的变量,由于样本是确定的,则$n$,$y^i$是常数,$x^i$是常数构成的矩阵
则方程$J(w_0,w_1)$就是一个普通的2元方程,自变量为$w_0,w_1$
要使方程 $h_w(x)$拟合程度越高,即求得一个$w$使的$MSE$最小.
即求得函数$J(w_0,w_1)$最小值,以及取得最小值时的,自变量为$w_0,w_1$取值.

简单表示一下,然后按照完全平方展开

$$\begin{array}{rl}J(w)& =\frac{1}{n}\sum _{i=1}^n(y_i-x_{i}w{)}^2\\ & =\frac{1}{n}\sum _{i=1}^n(y_i^2-2x_i{y}_{i}w+x_i^2{w}^2)\\ & =\frac{1}{n}\sum _{i=1}^n{x}_i^2{w}^2-\frac{2}{n}\sum _{i=1}^n{x}_i{y}_{i}w+\frac{1}{n}\sum _{i=1}^n{y}_i^2\end{array}$$

$$\begin{array}{r}令:a=\frac{1}{n}\sum _{i=1}^n{x}_i^2,b=-\frac{2}{n}\sum _{i=1}^n{x}_i{y}_i,c=\frac{1}{n}\sum _{i=1}^n{y}_i^2\\ \\ 则:J(w)=a{w}^2+bw+c(a,b,c为常数)\end{array}$$
求导得

$$\begin{array}{rl}J(w{)}^{\prime }& =\frac{2}{n}\sum _{i=1}^n{x}_i^{2}w-\frac{2}{n}\sum _{i=1}^n{x}_i{y}_i\end{array}$$

梯度下降法求解

1.先任取任意一组参数,就1.2和2.3把,则回归方程为:
$$h(x)=1.2x_1+2.3x_2$$
$$J(w_0,w_1)=\frac{1}{n}\sum _{i=1}^n(y^i-w^T{x}^i{)}^2$$
则当前loss值为:
$$J(w_0,w_1)=\frac{1}{n}\sum _{i=1}^n(y^i-(1.2x_0^i+2.3x_1^i){)}^2$$
求得当前点的最快的下降方向即求当前点得斜率,即求对$w_0,w_1$的偏导数
对$w_j$的偏导数为:
$$\begin{array}{rl}\frac{\partial J(w)}{\partial w_j}& =-\frac{1}{2n}\sum _{i=1}^n(y^i-h_w(x^i))x_j^i\end{array}$$
损失函数取$\frac{1}{2n}$和 $\frac{1}{n}$并无区别,故取$\frac{1}{2n}$ 则偏导数为:
$$\begin{array}{rl}\frac{\partial J(w)}{\partial w_j}& =-\frac{1}{n}\sum _{i=1}^n(y^i-h_w(x^i))x_j^i\\ w_j^{\prime }& =w_j+\frac{1}{n}\sum _{i=1}^n(y^i-h_w(x^i))x_j^i\end{array}$$