COURSERA机器学习笔记——多变量线性回归

多维特征 ( MULTIPLE FEATURES)

目前为止,我们探讨了单变量/特征的回归模型,现在我们对房价模型增加更多的特征,例如房间数楼层等,构成一个含有多个变量的模型,模型中的特征为($x_{1}$,$x_{2}$,…$x_{n}$)。

增添更多特征后,我们引入一系列新的注释:

• n 代表特征的数量
• $x^{\left ( i \right) }$代表第 i 个训练实例,是特征矩阵中的第 i 行,是一个向量(vector)
• $x_{j}^{\left ( i \right )}$代表特征矩阵中第 i 行的第 j 个特征,也就是第 i 个训练实例的第 j 个特征

支持多变量的假设 h 表示为:

这个公式中有 n+1 个参数和 n 个变量,为了使得公式能够简化一些,引入 $x_{0}$=1,则公式转化为:

其中上标 T 代表矩阵转置。

多变量梯度下降(GRADIENT DESCENT FOR MULTIPLE VARIABLES)

与单变量线性回归类似,在多变量线性回归中,我们也构建一个代价函数,则这个代价函数是所有建模误差的平方和,即:

我们的目标和单变量线性回归问题中一样,是要找出使得代价函数最小的一系列参数。
多变量线性回归的批量梯度下降算法为:

即：

求导后得到：

我们开始随机选择一系列的参数值,计算所有的预测结果后,再给所有的参数一个新的值,如此循环直到收敛。

特征缩放(FEATURE SCALING)

在我们面对多维特征问题的时候,我们要保证这些特征都具有相近的尺度,这将帮助梯度下降算法更快地收敛。
以房价问题为例,假设我们使用两个特征,房屋的尺寸和房间的数量,尺寸的直为 0-2000 平方英尺,而房间数量的直则是 0-5,以两个参数分别为横纵坐标,绘制代价函数的等高线图能看出图像会显得很扁,梯度下降算法需要非常多次的迭代才能收敛。

解决的方法是尝试将所有特征的尺度都尽量缩放到-1 到 1 之间。最简单的方法是令:

其中$\mu_{n}$是平均值,$S_{n}$是标准差。

学习率(LEARNING RATE)

梯度下降算法收敛所需要的迭代次数根据模型的不同而不同,我们不能提前预知,我们可以绘制迭代次数和代价函数的图表来观测算法在何时趋于收敛。

也有一些自动测试是否收敛的方法,例如将代价函数的变化直与某个阀直(例如 0.001)进行比较,但是这个阀值的确定比较难。通常看上面的图表更好。
梯度下降算法的每次迭代受到学习率的影响,如果学习率α过小,则达到收敛所需的迭代次数会非常高;如果学习率α过大,每次迭代可能不会减小代价函数,可能会越过局部最小值导致无法收敛。
通常可以考虑尝试这些学习率:α=0.01,0.3,0.1,0.3,1,3,10

多项式回归和正规方程

多项式回归(POLYNOMIAL REGRESSION)

线性回归并不适用于所有数据,有时我们需要曲线来适应我们的数据,比如一个二次方模型:

或者三次方模型：

如下图：

通常我们需要先观察数据然后再决定准备尝试怎样的模型。另外,我们可以令:

从而将模型转化为线性回归模型。注:如果我们采用多项式回归模型,在运行梯度下降算法前,特征缩放非常有必要。

正规方程(NORMAL EQUATION)

到目前为止,我们都在使用梯度下降算法,但是对于某些线性回归问题,正规方程方法是更好的解决方案。
正规方程是通过求解下面的方程来找出使得代价函数最小的参数的:

假设我们的训练集特征矩阵为 X(包含了 x 0 =1)并且我们的训练集结果为向量 y,则利用正规方程解出向量:

上标 T 代表矩阵转置,上标-1 代表矩阵的逆。
以下表所示数据为例:

运用正规方程方法求解参数:

注:对于那些不可逆的矩阵(通常是因为特征之间不独立,如同时包含英尺为单位的尺寸和米为单位的尺寸两个特征,也有可能是特征数量大于训练集的数量),正规方程方法是不能用的。
梯度下降与正规方程的比较: