正规方程(用于求使代价函数最小化的Ø)

正规方程提供了一种解析方法,直接求解线性回归的最优参数,避免了梯度下降的迭代过程。虽然它不需要特征缩放,但当特征数量大时,由于涉及矩阵逆运算,计算成本高。相比之下,梯度下降适用于大量特征,需要选择学习率并可能迭代多次。在特征变量数量小于一万时,正规方程可能是更好的选择,否则梯度下降更为常见。
摘要由CSDN通过智能技术生成

最小化代价函数的其他法
在这里插入图片描述
上图这种数学中求导方法太麻烦,所以我们不使用,下边介绍正规方程法

  • 对于某些线性回归问题,正规方程的方法可以给我们更好的方法去求得参数Ø。即是除梯度下降方法之外的另外一种方法去求参数,得到代价函数的最小值。
  • 这是一种求参数Ø的解析方法,不再像梯度下降那样一步一步的迭代,而是直接一次性的求出参数Ø,得出最小值
  • 对这个算法的直观理解
    在这里插入图片描述
    在这里插入图片描述
    暂时先不用理解这个求解Ø的式子,用octave语言很方便就可以计算出Ø
  • 使用正规方程这种方法不用进行特征缩放,而梯度下降算法需要特征缩放。
  • 什么时候用梯度下降,什么时候使用正规方程法?
    如果我们有n个特征,m个样本
    梯度下降算法
    缺点:要选择学习率,这表示着通常要进行很多次运行来选择学习率;需要进行未知多少次的迭代,可能会很慢。
    优点:在特征很多的情况下,仍然可以工作的很好
  • 1
    点赞
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值