过拟合

防止过拟合的方法：

1：增加数据集，可以通过对图片进行旋转角度，缩放等等增加数据集。

2：使用正则化函数。

目标依然是减少C的值，可以通过调节lamda的值来进行调节原来的损失函数和正则项的比重。

可以看到更新权重的时候，会把权重的比例减小，因为一般来说小的权重会有更好的拟合能力。

3：减少网络的层数，神经元个数等可以限制网络的拟合能力。

4:dropout

在每次的更新权重的时候，只选择一半的神经元用于计算。完成一次epoch后，重新选择一半的神经元进行计算，这样可以防止某个神经元对其他的某几个神经元过度依赖，而且每次使用不同的节点，相当于使用了不同的神经网络模型，使用多个模型最后求均值，可以减少过拟合。最后学习完之后，记得把学习好的权重除以2，因为每次使用的是一半的神经元。