正规方程及其与梯度下降算法的比较

最新推荐文章于 2023-08-25 10:38:33 发布

Civitasv

最新推荐文章于 2023-08-25 10:38:33 发布

阅读量642

点赞数

文章标签： Normal equation

本文链接：https://blog.csdn.net/qq_40996400/article/details/88073072

版权

正规方程

正规方程法是有别于梯度下降算法的另一种求解监督学习回归模型中 $\small \Theta$ 值的方法。仅给出结论：

$\small \Theta = (X^T*X)^{-1}*X^T*y$

规定 $\small x^{(i)} = [x_0^{(i)},x_1^{(i)},x_2^{(i)}...,x_n^{(i)}]^T$ ，则 $\small X = [(x^{(1)})^T,(x^{(2)})^T...,(x^{(m)})^T]^T$ , $\small Y = [y^{(1)},y^{(2)}...,y^{(m)}]$

由于正规方程是建立在函数求导的基础上的，所以并不需要归一化变量。但是要注意求逆矩阵这一过程，这要求矩阵 $\small X^T*X$ 是非奇异矩阵，也就是说其行列式不能为0。

正规方程与梯度下降的比较


梯度下降	正规方程
需要选择合适的学习率	不需要选择学习率
需要很多次迭代	不需要迭代
数据量很大时，求解很快	数据量很大时，求解很慢

因此，实际情况时，我们应根据数据量的多少选择合适的方法求解目标函数。