基于房价的多元变量下梯度下降法推导过程

基于房价的多元变量下梯度下降法推导过程

回顾一下在上一节中，我们介绍了一元变量下基于房价的建模，代价函数，梯度下降法的设计，在这一节中，我们将问题扩充到一般化，将一元变量变为多元变量下怎么去推理梯度下降的过程。

如图所示输入特征为（x1,x2,x3,x4)

输出特征为y

样本总数为m

这时候我们假设拟合函数为

 

那么我们要使代价函数最小时，参数的求解如图所示

为了便于理解代价函数在只有两个变量时，代价函数如图所示

X1 = size (0-2000)

X2 = bedroom (0-5)

通过观察左图我们发现x1与x2相差较大时，代价函数图像为瘦高形状，此时梯度下降到最优解时路线较为曲折，即回归难度较大，当参数较为相近时，如右图所示，梯度下降路线比较接近线性直线，即梯度下降较为容易。

所以我们需要将特征进行缩放

方法一 缩放到【0-1】 feature/ the total of number

方法二 缩放到【-1，1】 （feature - 均值）/ the total of number

当然如图 如果参数差距不大 比如在【-3，3】之间就没有必要去特征缩放了

 

在前面一节中，我们谈论了梯度下降时a对回归的影响，接下来我们具体讨论一下a的取值

通过前面观察我们发现要想求假设函数的参数，我们需要一步步的去更新参数，接下来介绍另外一中求解方式（通过数学推理的方法：正规方程 ，一步到位求出最优的参数）

我们观察一下这个公式，X为行向量，（XTX) 为n *n 的矩阵 ，要求解它的逆矩阵需要O(n3)复杂度，所以当特征较多时，我们不采用这种方法。