机器学习笔记(三)过拟合、欠拟合与正则化

一、过拟合与欠拟合

1.定义

过拟合与欠拟合都是机器学习建模过程中可能遇到的问题。欠拟合指模型在训练过程中对训练集拟合效果差,一般是由于模型的复杂度过低;过拟合指模型在训练过程中对训练集拟合效果好,但在测试过程中对测试集拟合效果差,即模型的泛化能力差,一般是由于建立的模型过于复杂。
图中绿线代表正常拟合情况,黄线代表过拟合情况,红线代表欠拟合情况

2.出现原因

出现欠拟合情况的原因一般是模型还未完成学习,在后续的学习过程中一般能够得到改善。

出现过拟合情况的原因一般为:
1.训练集数据类型单一或数据量过小
2.训练数据当中噪声干扰过大
3.模型过于复杂(包含了过多特征)

二、正则化

正则化是解决模型过拟合问题的重要方法。具体做法是在损失函数中加入一个正则项后再求解参数 θ \theta θ,从而降低模型的复杂度,常用的正则项有L1正则项L2正则项

θ = a r g m i n θ [ L o s s ( θ ) + ∑ λ R ( θ ) ] = a r g m i n θ [ 1 m ∑ i = 1 m ( ( h θ ( x i ) − y i ) 2 + λ R ( θ ) ) ] \theta=argmin_\theta[Loss(\theta)+\sum\lambda R(\theta)]=argmin_\theta[\frac{1}{m}\sum_{i=1}^{m}((h_\theta(x_i)-y_i)^2+\lambda R(\theta))] θ=argminθ[Loss(θ)+λR(θ)]=argmin

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值