欠拟合与过拟合

一、
1.欠拟合
训练集上表现很差（这种情况在测试集上也不会好），高偏差（bias）。
解决办法：选择更复杂的网络；有正则项就减小正则项参数等。
2.过拟合
训练集上表现很好，但测试集上表现很差，高方差（variance）。
解决办法：采用更多数据；如果有正则化就增加正则化参数，没有就加上正则化；DropOut等。
参考：https://zhuanlan.zhihu.com/p/29707029
二、
1.数据扩增
以图片数据为例有：图像平移、图像旋转、图像镜像、图像亮度变化、裁剪、缩放、图像模糊。
2.正则化
在损失函数后面加上惩罚项（lambda/2m*w的L1/L2范数）。
1）L1可以让一部分特征的系数缩小到0，从而间接实现特征选择。所以L1适用于特征之间有关联的情况。
2）L2让所有特征的系数都缩小，但是不会减为0，它会使优化求解稳定快速。所以L2适用于特征之间没有关联的情况
3.DropOut
Dropout是指在模型训练时随机让网络某些隐含层节点的权重不工作，不工作的那些节点可以暂时认为不是网络结构的一部分，但是它的权重得保留下来（只是暂时不更新而已），因为下次样本输入时它可能又得工作了。
1）https://blog.csdn.net/stdcoutzyx/article/details/49022443
2）https://blog.csdn.net/zjm750617105/article/details/51313825