过拟合的的解决方法及原理理解

过拟合就是在训练集上表现很好，在验证集表现极差，也就是对训练集拟合的太好了。

吴恩达老师课堂上的图片可形象表示：

解决过拟合的方法：

1.早点结束训练，越训练越糟糕。

2.增加数据集

3.正则化，L1正则化，L2正则化

4.dropout随机失活

个人理解：解决过拟合原理就是消除或者减小许多隐藏单元的影响。

正则化（regularization）：加入正则化参数可减小权重数值，即反向传播求w，w会变小（加入了，被减数增大了）。

dropout即随机使一些神经单元失活，这样也降低了网络的影响，减轻过拟合程度。

目前个人理解就是这样了，其中的数学原理目前能力还不能完全理解，慢慢来。