机器学习小tricks

1. 过拟合怎么办？

答：好办。增加样本量（减少采样的bias），减少特征，增加正则，Bagging模型融合，Dropout，BatchNormalization

2. 欠拟合怎么办？

答：好办。增加特征，增加模型的复杂度

3. variance和bias有什么区别？

答：https://www.cnblogs.com/ooon/p/5711516.html

自己的补充理解：小数据集有噪音，故需要增加数据集；过拟合 = low bias + high variance；bias指训练集上拟合的函数f与真实f之间的偏差，与测试集无关，bias表示的是拟合训练集的能力；variance是训练和测试集上准确率的差异。

4. 训练集与全集之前的关系？

答：如果训练集是全集上的一个随机采样，那么可以称样本是无偏的，如果不是随机或者在全集的一个有偏子集上的随机采样，那么训练集也是有偏的。