Datawhale 集成学习（上）—— 优化基础模型
前言
本节主要针对的是模型在训练集和测试集上表现差异的问题，建立的机器学习的模型不是为了在已有的数据上表现良好，而是为了在未知的数据上也有出色的表现
一、训练和测试的均方误差
M S E = 1 N ∑ i = 1 N ( y i − f ^ ( x i ) ) 2 MSE = \frac{1}{N}\sum\limits_{i = 1}^N {
{
{({y_i} - \widehat f({x_i}))}^2}} MSE=N1i=1∑N(yi−f
(xi))2
如果使用训练集计算的均方误差就是，训练均方误差；
如果使用测试集计算的均方误差就是，测试均方误差；
但是我们在训练模型的时候，是没有测试集的，我们能够计算就只有训练均方误差。那么我们以训练均方误差作为标准，在训练的过程中，使得训练均方误差逐步减小，是否训练出来的模型在测试集上也拥有这么小的均方误差呢？
从图中可以看出：在左边的图中，绿色的线相较于其他颜色的线，貌似拟合的要好一点。但是根据右边的图可以知道，绿色的拟合模型在测试集上的测试均方误差是最大的，说明绿色的拟合模型出现了过拟合的情况。所以，模型在训练误差很小，但是测试均方误差很大时，我们称这种情况叫模型的过拟合。
那么如何解决模型过拟合的问题呢？
二、偏差-方差权衡
E ( y i − f ^ ( x i ) ) 2 = V a r ( f ^ ( x 0 ) ) + [ B i a s ( f ^ ( x 0 ) ) ] 2 + V a r ( ε ) E{({y_i} - \widehat f({x_i}))^2} = Var(\widehat f({x_0})) + {[Bias(\widehat f({x_0}))]^2} + Var(\varepsilon ) E(
最低0.47元/天 解锁文章
318
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
