7-3 7-4 正则化在线性回归和非线性回归

这篇博客探讨了正则化在线性回归和逻辑回归中的作用。在7-3部分,介绍了正则化后的线性回归问题设定,讨论了正则化后损失函数的优化方法,包括梯度下降法和正规方程求解法。当样本数小于等于变量数时,正则化有助于解决不可逆问题。7-4部分则关注于正则化逻辑回归,阐述了正则化后的问题及优化策略。
摘要由CSDN通过智能技术生成

7-3、正则化在线性回归

1、正则后的线性回归问题设定


2、正则化后损失函数的优化问题:——梯度下降法、正规方程求解法

梯度下降法中:



分析和直观理解:操作同传统梯度下降法一致,只是相当于对原来的参数theta进行一个变小压缩,如图。

正规方程法:

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值