通俗理解偏差和方差、过拟合、正则化

1.解释一下偏差和方差？
在统计学中，偏差和方差是用来衡量模型的好坏的。
偏差是指模型的预测值的期望和真实值之间的差距。偏差越大，预测值越偏离真实数据。
方差是指预测值的分布范围。方差越大，分布越分散。

2.为什么会出现过拟合的现象？
过拟合是指模型在训练集上达到了非常高甚至是100%的准确率，但是在测试集上的结果确很糟糕。
一般造成的原因是模型相对于训练数据来说过于复杂，学到了不该学的一些东西。
（1）训练集的分布和真实数据的分布或者测试集的分布往往是不一致的。（这也是为什么即使不过拟合，一般测试集上的效果差于训练集）
（2）任何数据上都是带有噪声的，训练数据带有一定的噪音误差。

3.怎么缓解过拟合？
（1）最好的办法是获取足够多的有价值的数据，但这一般是很难办到的。一个妥协但有效的做法是进行数据增强，在现有数据的基础上进行翻转裁剪的等变化，人工产生数据使其更符合真实世界的情况。
（2）采用合适的模型，模型的复杂是相对数据来说的，数据不够时可以对模型进行删减或者选择合适的模型。也可以使用交叉验证的方法，融合多个小模型。
（3）以上两点算是大的思路，此外还有许多tricks来进一步优化，像dropout，正则化，early stoping，BN等。 BN是数据在卷积层之后，进入激活函数之前需要对数据标准化的操作，这样可以一定程度上将训练集和测试集在分布上统一，增强模型的泛化能力。

4.解释一下正则化？
正则化的目的是防止过拟合，本质是要约束（限制）要优化的参数，一般是加在损失函数中的。本来解空间是全部区域，L2给解空间加上了圆型的约束，让权值尽可能小，最后构造一个所有参数都比较小的模型。因为一般认为参数值小的模型比较简单，能适应不同的数据集，也在一定程度上避免了过拟合现象。L1的约束是方形，在角上会使许多权值为0,这也是L1能产生稀疏模型和特征选择的原因。