本文介绍了多变量线性回归的概念，通过引入房间数等更多特征来建立房价预测模型。讨论了多变量梯度下降法，强调了特征缩放和学习率对算法收敛速度的影响。在实践中，特征缩放有助于加快梯度下降的收敛，而适当的学习率设置则直接影响收敛效果。此外，文章还探讨了多项式回归如何适应非线性数据，并指出在使用多项式回归前进行特征缩放的重要性。
点击蓝字
关注我！
写在前面
这个系列为我在自学【机器学习】时的个人笔记。因为本人为医学相关专业，故学习过程中可能会有较多的纰漏，希望各位读者不吝赐教。本系列以吴恩达老师的【“机器学习”课程】为纲，辅以黄海广老师的【斯坦福大学 2014 机器学习教程个人笔记（V5.51）】，中间会穿插相关数理知识。该系列笔记为实时同步更新，故与本人的学习进度息息相关，希望同在学习相关知识的朋友能多多督促，共同进步。
05
多变量线性回归
5.1
多维特征
在之前的学习过程中，我们探讨了单变量/特征的回归模型，现在我们对房价模型增加更多的特征，例如房间数楼层等，构成一个含有多个变量的模型。
增添更多特征后，我们引入一系列新的注释：
n 代表特征的数量
为四维列向量支持多变量的假设 h 表示为：
这个公式中有个 n+1 个参数和 n 个变量，为了使得公式能够简化一些，引入X0 = 1，则公式转化为：
公式可以简化:
5.2
多变量梯度下降
与单变量线性回归类似，在多变量线性回归中，我们也构建一个代价函数，则这个代价函数是所有建模误差的平方和，即：
我们的目标和单变量线性回归问题中一样，是要找出使得代价函数最小的一系列参数。
我们开始随机选择一系列的参数值，计算所有的预测结果后，再给所有的参数一个新的值，如此循环直到收敛。
5.3.1
梯度下降法实践-特征缩放
在我们面对多维特征问题的时候，我们要保证这些特征都具有相近的尺度，这将帮助梯度下降算法更快地收敛。
以房价问题为例，假设我们使用两个特征，房屋的尺寸和房间的数量，尺寸的值为 0-2000平方英尺，而房间数量的值则是0-5，以两个参数分别为横纵坐标，绘制代价函数的等高线图能，看出图像会显得很扁，梯度下降算法需要非常多次的迭代才能收敛。解决的方法是尝试将所有特征的尺度都尽量缩放到-1到1之间。如图：
最简单的方法是令：
当然。你也可以减去均值除以（最大值与最小值的差）。
5.3.2
梯度下降法实践-学习率
梯度下降算法收敛所需要的迭代次数根据模型的不同而不同，我们不能提前预知，我们可以绘制迭代次数和代价函数的图表来观测算法在何时趋于收敛。
梯度下降算法的每次迭代受到学习率的影响，如果学习率过小，则达到收敛所需的迭代次数会非常高；如果学习率过大，每次迭代可能不会减小代价函数，可能会越过局部最小值导致无法收敛。
如图，红色为学习率过高，导致错过最小值。蓝色则为学习率过低，耗时过久。（这个之前在梯度下降法那一篇中详细讲过了，没看过的可以看一下。）
如图，迭代次数和代价函数最小值的曲线出现这种情况，都可以考虑降低学习率。
总结：
通常可以考虑尝试些学习率：
5.4
特征和多项式回归
在房价预测问题中，如果以长和宽为特征量，则有：
如果以面积为特征量，则有：
简化之后，可能会丢失重要的特征量。
线性回归并不适用于所有数据，有时我们需要曲线来适应我们的数据，比如一个二次方模型或者三次方模型，如下图：
通常我们需要先观察数据然后再决定准备尝试怎样的模型。
另外，我们可以令：
则：
从而将模型转化为线性回归模型。
根据函数图形特性，我们还可以有以下转换：
值得注意的时，如果我们采用多项式回归模型，在运行梯度下降算法前，特征缩放非常有必要。
如图，三个特征量相差太多，需要特征缩放后帮助梯度下降算法更快地收敛。
— END —
往期 · 推荐
长
按
关
注
扫一扫
514
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
