5.1 多元线性回归下的梯度下降

5.1 多元线性回归下的梯度下降

    在前面我们谈到了多元线性回归，它是一种有多个特征变量的形式，这里我们将讨论如何找到满足这一假设函数的参数，尤其是使用梯度下降方法来解决多特征的线性回归问题。

    为了更加快速的理解，这里有一个假设函数，如下图所示，并且约定x0=1，该模型的参数是从θ0到θn，你可以将它想像成n + 1维的向量θ，我们的代价函数是从θ0到θn的J，同样不要将J看成一个n + 1个自变量的函数，而是看成一个带有n + 1维向量θ的函数J（θ）。关于梯度下降算法，如图所示，不断的使用θj减去α倍的对应的导数项，就是J（θ）对于θj的偏导数。

    我们来看看它的偏导数项，下面如图所示，是当我们的特征数n等于1的情况。我们对θ0和θ1有两条不同的更新规则。仅有一点区别是，之前我们只有一个特征的时候，我们称该特征为x(i)，但是我们现在会将它记为x⁽ⁱ⁾₁，（如下图蓝色笔记所示）。当我们有多个特征的时候，我们的梯度下降算法变成了下图右边所示，用蓝色笔圈出的部分是对代价函数求偏导数之后得出来的，你需要明白的是为什么左右两边都是梯度下降算法，考虑这样一种情况，有两个或者两个以上的特征，同时我们有对θ0、θ1、θ2等的更新规则，如果你观察θ0的更新规则，你会发现，这和左边当n=1时的情况相同，之所以它们是等价的，是因为我们约定x0=1，同样你也会发现θ1的更新规则也和之前的更新规则相同，这里我们只是用了新的符号x⁽ⁱ⁾₁来表示我们的第一个特征。现在我们有多个特征，我们可以用相同的规则处理θ2等其它参数。