机器学习入门2

一、多变量线性回归

1，定义：将单变量的线性回归问题升级为 相当于 的问题。

2，多变量梯度下降

误差平方和代价函数：

3，梯度下降技巧1-特征缩放

确保特征的值在同一个范围内，否则等高线图过于瘦长，不利于梯度下降计算，路径归于曲折

常见的缩放方法：

4，梯度下降技巧2-学习率

看迭代次数

也可以看代价函数的变化值与阈值（0.001）比较

过小数次高，过大越过局部最小值无法收敛

可尝试的学习率

4，特征和多项式回归（非线性回归）

5，正规方程

正规方程公式：

6，正规方程不可逆的情况

正规方程还会遇到 不可逆的情况，通常这是因为输入变量中存在线性相关的变量或者是因为特征太多。解决方法是去掉线性相关的冗余变量，或者删掉一些特征。