机器学习——多变量线性回归

Multivariate linear regression

本文主要介绍多变量线性回归。

综述

这是一个新的线性回归版本，更有效，适用于多个变量或多特征量。
在单变量线性回归中，以房价预测为例：

在多变量线性回归中，以房价预测为例：

定义符号如下：

符号	意义
n	特征的数量
m	训练样本数
	第i个训练样本的输入特征值
	第i个训练样本中第j个特征的值

举个例子，以五个变量预测房价，假设我们的假设函数如下（只是一个例子）：

那么，8000代表基本价格，随着面积的增长（x1）价格增长，随着房子年龄（x2）的增长价格下降，随着地段的优势（x3）价格增长，随着楼层的增长（x4）价格下降，随着物业质量的增长（x5）价格增长。

为了表示方便，我们常常把假设函数写成这样：

即添加了一个x0，注意，x0默认等于1。可以认为我们定义了一个额外的第0个特征量。这样写的话，我们就可以把假设函数化简成这样：

这里的θ和x均代表的是向量。展开来看就是这样：

多变量的梯度下降

多变量线性回归的代价函数与单变量的类似：

需要注意的是，这里J(θ)中的θ是一个向量。同样，梯度下降也与其类似：

结合代价函数与梯度下降，我们就可以得出多变量线性回归的梯度下降算法：

我们来运行几次看看：

我们随机选择一系列的参数值，计算所有的预测结果后，再给所有的参数一个新的
值，如此循环直到收敛。

特征缩放

在我们面对多维特征问题的时候，我们要保证这些特征都具有相近的尺度，这将帮助梯
度下降算法更快地收敛。以房价问题为例，假设我们使用两个特征，房子的面积和房子的楼层，面积的值可能为几百个单位，而楼层的值则可能是几十甚至是个位数，以两个参数分别为横纵坐标，绘制代价函数的等高线图，图像会显得很扁，梯度下降算法需要非常多次的迭代才能收敛。

解决的方法是尝试将所有特征的尺度都尽量缩放到-1 到 1 之间。
比如，令面积（x1）除以200（平均），令楼层（x2）除以10（平均），那么梯度下降就会进行的很快。最简单的方法就是：

其中μn是平均值，xn是标准差，sn是特征值的范围（最大值减最小值即可）。
我们只要将特征转化为近似的范围即可，不用特别绝对，因为这只是为了让梯度下降更快。

对多变量线性回归的描述就先到这里吧，下一次会写学习率以及特征的选择。后续也会写多变量线性回归的实战。

感谢您的阅读！如需转载，请注明原文出处，作者：vergilben