机器学习基础 - [第二章：多变量线性回归]（5）正规方程法

1、什么是正规方程法？

正规方程法是将代价函数对每一个参数求偏导，然后使其为零，通过解方程组来求解代价函数的最优参数：

2、如何使用正规方程法来求解模型的最优参数？

使用正规方程法主要分为以下几个步骤：
(1) 将训练样本的特征表示成特征矩阵$X$，标签表示为向量$y$;
(2)通过以下式子来求解代价函数的最优参数：
$$\theta =(X^{T}X{)}^{-1}{X}^{T}y$$

3、正规方程法与梯度下降算法的优缺点

两者的优缺点如下图所示：

另外，补充几点：
（1）正规方程法只适合与线性回归模型；
（2）正规方程法不需要考虑特征缩放问题；
（3）当特征的数量很大时，建议选用梯度下降法，因为对矩阵求逆运算的复杂度在$O(n^3)$，当n很大时，会非常耗时。