P4 【机器学习】多元梯度下降、特征选择、正规方程

目录

1.多变量

2.利用梯度下降处理多元线性回归函数，得到假设参数

3.特征选择和多项式回归 

4.正规方程（区别于迭代方法的直接解法，求得θ的最优值）

4.1 正规方程介绍

​4.2 梯度下降与正规方程比较优缺点

---

1.多变量

利用矩阵书写假设函数 ：

2.利用梯度下降处理多元线性回归函数，得到假设参数

        将假设参数θ不看做分开的独立参数，而是看做一个n维的单位向量。

        如下图，我们的目的是将多元线性函数转移到梯度下降函数中，不断更新θ_j的值，j变一次θ_就随之变一次。

         下图中左边是旧的算法，只有一个变量，右边是多个变量的情况，接下来将会解释为什么这两个算法原理是一样的，他们是相似的算法，以及我们该怎么样进行运用。

下图中右下角解释了更新θ_j的规则，每一行其实都是单个变量的更新规则。 

        使用特征缩放的方法使得梯度下降算法能够更快收敛：

        如下图，左边变量x_1和x_2的范围差异很大，会导致梯度下降的速度缓慢，下降路径非常曲折；右边进行特征缩放后，将x_1和x_2的范围都控制在0～1，得到更直接的梯度下降路径。