线性回归中的误差及解决措施

线性回归中的误差通常有两个来源:

  1. 来自方差Variance的误差
  2. 来自偏置Bias的误差

  下面这张图直观表示了方差和偏置水平的关系。可以将真实值作为靶心,将带入拟合的曲线得到的输出值作为投掷的点,那么会遇到如下四种( 2 × 2 2\times 2 2×2)情况,分别是:高方差高偏置,高方差低偏置,低方差高偏置,低方差低偏置。
  最理想的情况当然是所有点(无论是训练集还是测试集)正中靶心,此时处于低方差低偏置的情况。
在这里插入图片描述
而现实中对数据进行拟合时,经常出现两种情况:

  1. 简单模型,简单的模型更趋于平滑,这意味着样本数据对模型输出的影响较小,也就是说这些投掷点靠拢更密集,更注重趋势而非精度,因此虽然它们之间的方差较小,但距离靶心更远,导致偏置较大。
  2. 复杂模型,复杂模型跳动更大,这意味着投掷点离散程度较大,因此方差较大。但对一些数据能够很好的适配,因此偏置较小。

在这里插入图片描述
下面是模型出问题的两种可能的情况:
在这里插入图片描述
对于大方差模型的两种结局措施:

  1. 增大数据集
  2. 正则化来使拟合的曲线更加平滑

在这里插入图片描述
  交叉检验可以衡量一个模型的优劣,其做法是将训练集分成两部分,一部分用于训练,另一部分起测试的作用,用于检验模型的优劣。
在这里插入图片描述

  n折交叉检验是另一个检验模型的方法,这是将训练集分为 n n n 部分,其中 n − 1 n-1 n1部分作为训练集分别训练模型,剩下一部分作为测试集进行测试。选择模型时,取同一个模型不同训练与测试的误差的平均值,在不同模型间比较平均值来进行模型的选择。
在这里插入图片描述

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值