[Machine Learning]吴恩达机器学习笔记 三 ——多变量线性回归

A new version of linear regression that work with multiple variables or features.

1、多功能

multiple features(variables)

 hypethesis function：

Multivariate linear regression: use multiple features to predict.

2. 多元梯度下降法

 

多变量的梯度下降算法和单变量的梯度下降算法类似，可以看看之前的推导过程。

 2.1 特征缩放 Feature Scaling

idea: Make sure features are on a similar scale. 将特征变量值处于相近的区间内以便更好的梯度下降

By scaling the features so that they can take on the similar ranges of values.

一种方法是依据特征除以最大值

应该选取合适的范围，不应过大和过小。

另一种方式是均值归一化 Mean normalization

均值归一化方法中，u1指的是变量xi的均值，s1为变量的标准差（即最大值 - 最小值）

2.2 学习率 Learning rate alpha

2.2.1 明确梯度下降是正常工作的

在学习视频中，吴恩达老师提到了确定梯度下降每一步的迭代步数是一个比较困难的问题，因为不同的问题的梯度下降步数是不一样的，有的可能只需要很小的数比如10、30就可以，但有的甚至需要10000，300000很大。那么针对不同问题我们如何确定这个iteration的大小呢？老师给我们介绍了两种方法，第一种是依靠自动收敛测试，另一种是做出上图所示的代价函数随迭代步数变化的曲线图（理论依据是在每轮梯度下降迭代后代价函数的值都会下降，因此当最小代价函数值接近收敛时取得比较合适的迭代大小），同时，这种曲线图还能很好的告诉我们算法有没有在正常工作。

2.2.2 如何选择合适的学习率

当上述的曲线图出现如上图所示的变化时，一般情况下我们需要将学习率 α 调小一点。理论在上图和前文中也说到了，对一个合适的学习率α来说，它会是代价函数不断下降。总结一下，当α太小同样也是不好的，这会导致梯度下降算法会很慢即收敛很慢；当α太大会导致代价函数不下降，或不收敛。