机器学习第二回——多变量线性回归

多变量线性回归

求解最合适的一系列参数（θ0~θn)

一.多维特征（以预测房价为例）

对房价模型增加更多的特征，例如房间数楼层等，构成一个含有多个变量的模型，模型中的特征为(𝑥1, 𝑥1, . . . , 𝑥𝑛)。

𝑛 代表特征的数量
𝑥(𝑖)代表第 𝑖 个训练实例，是特征矩阵中的第𝑖行，是一个向量（vector）。
𝑥𝑗(𝑖)代表特征矩阵中第 𝑖 行的第 𝑗 个特征，也就是第 𝑖 个训练实例的第 𝑗 个特征。
支持多变量的假设 ℎ 表示为：ℎ𝜃(𝑥) = 𝜃0 + 𝜃1𝑥1 + 𝜃2𝑥2+. . . +𝜃𝑛𝑥𝑛
此公式可以简化为：ℎ𝜃(𝑥) = 𝜃𝑇x

二.梯度下降

1.代价函数

与单变量线性回归类似，在多变量线性回归中，我们也构建一个代价函数，并找出使得代价函数最小的一系列参数。

把θ0~θn看作θ，其中θ为（n+1)维的向量。

多变量线性回归的批量梯度下降算法为：

上图分别为n=1和n>=1的情况。

代码示例：

计算代价函数 𝐽(𝜃) = 1/2𝑚 ∑ (ℎ𝜃(𝑥(𝑖)) − 𝑦(𝑖)) ^2
其中：ℎ𝜃(𝑥) = 𝜃𝑇𝑋 = 𝜃0𝑥0 + 𝜃1𝑥1 + 𝜃2𝑥2+. . . +𝜃𝑛𝑥𝑛
Python 代码：
def computeCost(X, y, theta):
inner = np.power(((X * theta.T) - y), 2)
return np.sum(inner) / (2 * len(X))

2.特征缩放

在我们面对多维特征问题的时候，我们要保证这些特征都具有相近的尺度，这将帮助梯度下降算法更快地收敛。
例：房价预测
假设我们使用两个特征，房屋的尺寸和房间的数量，尺寸的值为 0-2000 平方英尺，而房间数量的值则是 0-5，以两个参数分别为横纵坐标，绘制代价函数的等高线图，能看出图像会显得很扁，梯度下降算法需要非常多次的迭代才能收敛。
解决的方法是尝试将所有特征的尺度都尽量缩放到-1 到 1 之间。如图：

最简单的方法是令：𝑥𝑛 = 𝑥𝑛−𝜇𝑛 𝑠𝑛，其中 𝜇𝑛是平均值，𝑠𝑛是标准差。

3.学习率α

梯度下降算法的每次迭代受到学习率的影响，如果学习率𝑎过小，则达到收敛所需的迭代次数会非常高；如果学习率𝑎过大，每次迭代可能不会减小代价函数，可能会越过局部最小值导致无法收敛。
⑴ 绘制迭代次数和代价函数的图表来观测算法在何时趋于收敛。
根据图表来确定使得代价函数在迭代次数最少时趋于收敛的α的值。
⑵ 自动测试是否收敛的方法，例如将代价函数的变化值与某个阀值（例如 0.001）进行比较，但通常看上面这样的图表更好
通常可以考虑尝试些学习率：
𝛼 = 0.01，0.03，0.1，0.3，1，3，10

4.特征和多项式回归

线性回归并不适用于所有数据，有时我们需要曲线来适应我们的数据，比如一个二次方模型：ℎ𝜃(𝑥) = 𝜃0 + 𝜃1𝑥1 + 𝜃2𝑥2^2
或者三次方模型： ℎ𝜃(𝑥) = 𝜃0 + 𝜃1𝑥1 + 𝜃2𝑥2^2 + 𝜃3𝑥3 ^3
通常我们需要先观察数据然后再决定准备尝试怎样的模型。 另外，我们可以令：𝑥2 = 𝑥2^2, 𝑥3 = 𝑥3 ^3，从而将模型转化为线性回归模型。
注：如果我们采用多项式回归模型，在运行梯度下降算法前，特征缩放非常有必要。

三.正规方程

正规方程是通过求解方程来找出使得代价函数最小的参数的： 假设我们的训练集特征矩阵为 𝑋（包含了 𝑥0 = 1）并且我们的训练集结果为向量 𝑦，则利用正规方程解出向量 𝜃 = (𝑋𝑇𝑋) ^−1𝑋𝑇𝑦 。
例：

运用正规方程方法求解参数：

正规方程的 python 实现：
import numpy as np
def normalEqn(X, y):
theta = np.linalg.inv(X.T@X)@X.T@y #X.T@X 等价于 X.T.dot(X)
return theta
注：对于那些不可逆的矩阵（通常是因为特征之间不独立，如同时包含英尺为单位的尺寸和米为单位的尺寸两个特征，也有可能是特征数量大于训练集的数量），正规方程方法是不能用的。

四.正规方程及梯度下降比较