将梯度下降算法应用到线性回归中的数学推导及图示

线性回归和梯度下降的形式表达

线性回归：

假设函数
$$h_{\theta }(x)={\theta }_0+{\theta }_{1}x\text{\hspace{1em}(1)}$$
代价函数
$$J(\theta )=\frac{1}{2m}\sum _{i=1}^m(h_{\theta }(x^{(i)})-y^{(i)}{)}^2\text{\hspace{1em}(2)}$$
梯度下降：
 repeat until convergence { θ j = θ j − α ∂ J ( θ 0 , θ 1 ) ∂ θ j ( f o r   j = 0   a n d   j = 1 ) } (3) \begin{aligned} &\text{ repeat\ until\ convergence}\{\\ &\qquad \theta_j = \theta_j - \alpha \frac {\partial J(\theta_0,\theta_1)}{\partial\theta_j}\qquad (for\ j =0\ and\ j=1)\\ &\} \end{aligned} \tag3 ​ repeat until convergence{θj​=θj​−α∂θj​∂J(θ0​,θ1​)​(for j=0 and j=1)}​(3)

应用计算

首先先计算代价函数对于两个参数${\theta }_0，{\theta }_1$的偏导数：
$$\begin{array}{rl}\frac{\partial }{\partial {\theta }_j}J({\theta }_0,{\theta }_1)& =\frac{\partial }{\partial {\theta }_j}\frac{1}{2m}\sum _{i=1}^m(h_{\theta }(x^{(i)})-y^{(i)}{)}^2\\ & =\frac{\partial }{\partial {\theta }_j}\frac{1}{2m}\sum _{i=1}^m({\theta }_0+{\theta }_1{x}^{(i)}-y^{(i)}{)}^2\end{array}\text{\hspace{1em}(4)}$$
代价函数对于参数${\theta }_0$的偏导数：
$$\frac{\partial }{\partial {\theta }_0}J({\theta }_0,{\theta }_1)=\frac{1}{m}\sum _{i=1}^m(h_{\theta }(x^{(i)})-y^{(i)})\text{\hspace{1em}(5)}$$
代价函数对于参数${\theta }_1$的偏导数：
$$\frac{\partial }{\partial {\theta }_1}J({\theta }_0,{\theta }_1)=\frac{1}{m}\sum _{i=1}^m(h_{\theta }(x^{(i)})-y^{(i)})\cdot x^{(i)}\text{\hspace{1em}(6)}$$
将其带回到梯度下降算法中去：
 repeat until convergence { θ 0 = θ 0 − α 1 m ∑ i = 1 m ( h θ ( x ( i ) ) − y ( i ) ) θ 1 = θ 1 − α 1 m ∑ i = 1 m ( h θ ( x ( i ) ) − y ( i ) ) ⋅ x ( i ) } (3) \begin{aligned} &\text{ repeat\ until\ convergence}\{\\ &\qquad \theta_0 = \theta_0 - \alpha \frac {1}{m} \sum_{i=1}^m (h_\theta(x^{(i)})-y^{(i)})\\ &\qquad \theta_1 = \theta_1 - \alpha \frac {1}{m} \sum_{i=1}^m (h_\theta(x^{(i)})-y^{(i)}) \cdot x^{(i)} \\ &\} \end{aligned} \tag3 ​ repeat until convergence{θ0​=θ0​−αm1​i=1∑m​(hθ​(x(i))−y(i))θ1​=θ1​−αm1​i=1∑m​(hθ​(x(i))−y(i))⋅x(i)}​(3)
对于线性回归的代价函数来说，他总是这样的弓形函数（bow-shaped function），专业名称叫做凸函数（convex function），对于该函数来说，不论初始点在哪里，最后都可以保证收敛到同一个全局最优点，因为该函数只有一个全局最优点，无局部最优点

接下来看看如何一步步优化到全局最优点

首先我们从${\theta }_0=900,{\theta }_1=-0.1$开始，此时假设函数为$h(x)=-900-0.1x$：

对其应用一次后梯度下降算法后，可以看到我们的假设函数发生了一点变化

然后不断应用梯度下降算法，直到我们下降到收敛点（中心的点），其路线如右图所示：