正规方程求最优解

这篇博客介绍了正规方程作为求解最小化问题的另一种方法,特别是在数据量较少时,正规方程由于只需要一次性计算,速度较快。然而,当数据规模增大,其O(n³)的计算复杂度使其效率低于梯度下降。正规方程在n小于m时可能需要特征选择或正则化。理解正规方程对于理解和优化机器学习模型的训练过程至关重要。
摘要由CSDN通过智能技术生成

正规方程是除了梯度下降以外求最小值的其他方法
公式如下:
在这里插入图片描述
其中X为n*m维的矩阵,n为数据的维度,m为特征向量,y为最后的目标向量。下面为吴恩达老师的一个例子
在这里插入图片描述
当n<m时,需要减少特征,或者加入正则化项。
在数据量较少时,正规方程求解速度较快,以为只计算一次,不需要迭代;
当数据量较大时,虽然只进行一次计算,但由于计算复杂度较高,O(n³),速度就会不如梯度下降。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值