1、什么是正规方程法?
正规方程法是将代价函数对每一个参数求偏导,然后使其为零,通过解方程组来求解代价函数的最优参数:
2、如何使用正规方程法来求解模型的最优参数?
使用正规方程法主要分为以下几个步骤:
(1) 将训练样本的特征表示成特征矩阵
X
X
X,标签表示为向量
y
y
y;
(2)通过以下式子来求解代价函数的最优参数:
θ
=
(
X
T
X
)
−
1
X
T
y
\theta=(X^{T}X)^{-1}X^{T}y
θ=(XTX)−1XTy
3、正规方程法与梯度下降算法的优缺点
两者的优缺点如下图所示:
另外,补充几点:
(1)正规方程法只适合与线性回归模型;
(2)正规方程法不需要考虑特征缩放问题;
(3)当特征的数量很大时,建议选用梯度下降法,因为对矩阵求逆运算的复杂度在
O
(
n
3
)
O(n^{3})
O(n3),当n很大时,会非常耗时。