【机器学习】saturate的解释

在机器学习中,saturate涉及saturated model和saturating activation function。saturated model虽然能完美拟合数据,但由于参数过多,导致高方差和噪声敏感。saturating激活函数如sigmoid和tanh会限制输出范围,可能导致梯度消失问题,如softplus函数在x值极负时会饱和。
摘要由CSDN通过智能技术生成

   最近在看机器学习的书籍时,经常会发现saturate这个术语。saturate这个词的直译是“浸透、饱和”,那么在机器学习里面应该怎样去理解saturate这个词呢?


一、什么是saturated model?

   一个saturated model就是说:这个模型需要估计的参数,跟数据集的个数一样多(或者更多)。根据定义来说,这样的模型可以很好的fit所有的数据,但这样的模型在统计学的角度上讲并不是特别有用,因为它没有数据去estimate variance了。例如,用一个5阶的polynomial去fit 6个点的数据,就可以得到一个saturated model(one parameter for each of the 5 powers of your independent variable plus one for the constant term)。

   总之,saturated model会得到high-variance的预测模型,受noise的影响也更多。但不是说saturated总是一无是处的。在human cognition、image compression and reconstruction(

  • 5
    点赞
  • 12
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值