2019校招 腾讯模拟笔试 偏差与方差

泛化误差=偏差的平方+方差+噪声​

偏差：衡量算法预期与实际的偏离程度，刻画本身的拟合能力

方差：同样大小的训练集变动所导致学习性能的变化，刻画数据扰动所造成的影响

噪声：表达了当前任务任何学习算法所能达到的期望泛化误差下界，刻画了问题本身的难度。

一般训练程度越强，偏差越小，方差越大，泛化误差一般在中间有个最小值。

如果偏差较大，方差较小，称为欠拟合，

如果偏差较小，方差较大，称为过拟合，​

我们希望偏差和方差越小越好，但两者是有冲突的，称为偏差-方差窘境（bias-variance dilemma）。

给定一个学习任务，训练初期，由于训练不足，学习器拟合能力不强，数据的扰动也无法使学习器产生显著变化，欠拟合的情况。

随着训练增加。学习器拟合能力逐渐增强，训练数据的扰动也能被学习器学到

充分训练后，学习器学习能力非常强，训练数据的轻微扰动都会导致学习器发生显著变化，当训练数据自身的、非全局性的特性被学习器学到，则将发生过拟合。

高方差 采集更多样本数据 减少特征数量 去除非主要特征 增加正则化参数

高偏差 引入更多相关特征 采用多项式特征 减少正则化参数

 

 

过拟合 方差大 偏差小

随着训练过程的进行，模型复杂度增加，在training data 上error逐渐减小，但在验证集上error 反而增大， 因为训练出啦的模型过度拟合了训练集，对训练集外的数据不work，

解决：正则化 、dropout、 early stop、 batch normlization 交叉验证 数据增强 集成 boost bagging 模型融合 

一、正则化

1. ​L2正则化：目标函数增加所有权重w参数的平方和，逼迫所有w尽可能趋于0但不为0，因为过拟合时候，拟合函数需要顾忌每一个点，最终形成的拟合函数波动很大，在某些小区间，函数值变化剧烈，就是w非常大，为此，加入L2正则化惩罚权重变大的趋势。
2. L1正则化：目标函数增加所有权重w参数的绝对值之和，，逼迫更多w参数为0，也就是变稀疏，L2因为导数也趋于0，奔向0的速度没有L1快，，L1能实现特征选择，xi大部分特征与最后输出无关，在最小化目标函数时考虑这些额外特征，虽然能获得更小训练误差，但在预测新样本时，这些没用的权重反而被考虑，从而干扰了正确yi的预测，L1的引入完成特征的自动选择，将这些特征权重设为0。

二、dropout

在训练过程中，让神经元以超参数p的概率被激活，也就是以1-p概率被失活，每个w随机参与，使得任意w都不是不可或缺的，效果类似数量巨大的模型集成。

三 early stop

训练提前终止

四  batch normlization

给每层的输出都做一次归一化，相当于加一个线性变换层，使得下一层的输入接近高斯分布，这个方法相当于下一层的w训练时避开了其输入以偏概全，因而泛化效果比较好。