梯度下降算法——theta参数更新公式的数学理解

（notice：粗体以示向量）

一、引出算法

在学习 Linear Regression 算法时，经典案例就是房价预测。在通过一系列预处理操作后，得到一个带有特征变量$x$和可学习参数$\theta$的假设函数:
$$h_{\theta }(\text{x})={\theta }_0+{\theta }_1{x}_1+{\theta }_2{x}_2$$

一般式：

$$h_{\theta }(\text{x})=\sum _{i=0}^n{\theta }_i{x}_i={\mathbf{\theta }}^T\cdot \text{x}（n为特征数）$$
下一步要做的就是，构造一个均方损失函数：

$$J(\mathbf{\theta })=\frac{1}{2}\sum _{k=1}^m(h_{\theta }({\text{x}}^k)-y^k{)}^2（m为训练集样本数量）$$

$$h_{\theta }({\text{x}}^k)-y^k$$
表示第 k 个样本的实际预测值和其真实值的差异，即“训练误差”。所有样本的训练误差之和为损失函数$J(\mathbf{\theta })$ 。 $J(\mathbf{\theta })$ 越小，则说明可学习参数$\mathbf{\theta }$调整的越好，算法泛化能力有可能也越好。

想让损失函数$J(\mathbf{\theta })$ 变小，就只能迭代优化可学习参数$\mathbf{\theta }$

而想要优化参数$\mathbf{\theta }$，就可以使用梯度下降算法

---

二、梯度下降算法直观理解

直观看，假如损失函数的起始位置在上图 “1”的位置。由坐标轴刻度可知，此时的损失函数$J(\mathbf{\theta })$的位置很高，数值很大。需要调整可学习参数$\mathbf{\theta }$以减小在训练集上$J(\mathbf{\theta })$的数值。
如图所示，损失函数$J(\mathbf{\theta })$不断的寻找比当前位置更低的地方作为下一步驻留地，最后在位置“2”处停止寻找。此时便得到一个局部最优解$\mathbf{\theta }$.

这使用的就是下面这个更新公式：
$${\theta }_i:={\theta }_i-\alpha \frac{\partial }{\partial {\theta }_i}J(\mathbf{\theta })$$
其中：(注意区分粗体)
$$\partial$$