机器学习——多元线性回归算法

多元线性回归算法

多元线性回归的概念

多元线性回归算法，即多特征量线性回归算法，用多个特征量来进行预测，如这里用多个特征量（房子面积、卧室数量、房屋楼层数、房子年龄）来预测房子的售价问题

多元线性回归的假设函数

用梯度下降算法处理多元线性回归参数

特征缩放 

假如有一个多特征量的机器学习问题，并且这个问题中的多个特征可以在一个相近的范围内取值，那么可以采取特征缩放的方法，使得梯度下降算法更快收敛

举例来说，假设现在有一个具有两个特征的问题，其中特征一x1是房子面积，它的取值范围在0~2000之间，特征二x2是卧室数量，可能取值在1~5之间，特征缩放的做法如下

更一般地，执行特征缩放时，通常是将特征的取值约束到 -1~ +1的范围内，当然，不一定非得是[-1, 1]，是[-3, 3]，[-2, 3]这种和[-1, 1]范围差不多的就行，但是不能太大或者太小，否则就要进行缩放处理。所以当所有特征都在相近的取值范围内，梯度下降算法就会正常工作，得到正确的结果

 除了将特征值除以最大值以外，还可以进行一个叫做均值归一化的处理

通过特征缩放，可以将梯度下降的速度变得更快，收敛所需的迭代次数更少

学习率α的选择

梯度下降算法如下，那么该如何选择学习率α呢？

我们可以通过J(θ)和梯度下降迭代次数的函数图像进行判断如何选择学习率

梯度下降算法正常工作的图像如下

学习率过大的函数图像

 综上，我们可以通过绘制J(θ)随迭代次数变化的函数图像，来判断我们所选择的学习率是否合适，一开始可以选择一个较小的学习率的值，然后绘制J(θ)随迭代次数变化的函数图像，根据函数图像对学习率做进一步的调整，不断尝试不同的学习率取值，直到最后取到合适的值。

多项式回归

直接看视频吧多项式回归