函数沿某一方向的变化率_关于吴恩达机器学习的“线性回归”问题的“梯度下降算法”的代价函数求偏导结果推导过程...

1. 假设函数（Hypothesis）

用一线性函数拟合样本数据集，可以简单定义为如下：

其中

和

为参数。

2. 代价函数（Cost Function）

衡量一个假设函数的“损失”，又称作“平方和误差函数”（Square Error Function），给出如下定义：

相当于，对所有样本的假设值与真实值之差的平方再求总和，再除以样本数量m，得到平均的“损失”。我们的任务是求出

和

使得这个“损失”最小。

3. 梯度下降（Gradient Descent）

梯度：某一函数在该点处的方向导数沿该方向取得最大值，即在该点变化率（斜率）最大。

梯度下降：使得自变量

沿着使

下降最快的方向移动，尽快取得

的最小值，给出如下定义：

吴恩达的课程中我了解到，梯度下降是需要所有自变量同时“下降”的，所以，我们可以转化为分别对

和

求偏导数，即固定

将

作为变量进行求导，反之对

一样。

我们了解代价函数是

，其中

，那么，我们根据复合函数的求导原则，dx/dy​​=（du/dy）​∗（dx/du​），即转化为：

最后得到课程中的结果：