在机器学习中，saturate涉及saturated model和saturating activation function。saturated model虽然能完美拟合数据，但由于参数过多，导致高方差和噪声敏感。saturating激活函数如sigmoid和tanh会限制输出范围，可能导致梯度消失问题，如softplus函数在x值极负时会饱和。
最近在看机器学习的书籍时，经常会发现saturate这个术语。saturate这个词的直译是“浸透、饱和”，那么在机器学习里面应该怎样去理解saturate这个词呢？
一、什么是saturated model？
一个saturated model就是说：这个模型需要估计的参数，跟数据集的个数一样多（或者更多）。根据定义来说，这样的模型可以很好的fit所有的数据，但这样的模型在统计学的角度上讲并不是特别有用，因为它没有数据去estimate variance了。例如，用一个5阶的polynomial去fit 6个点的数据，就可以得到一个saturated model（one parameter for each of the 5 powers of your independent variable plus one for the constant term）。
总之，saturated model会得到high-variance的预测模型，受noise的影响也更多。但不是说saturated总是一无是处的。在human cognition、image compression and reconstruction（
最低0.47元/天 解锁文章
扫一扫
897
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
