[tensorflow]tensorflow2.0的优化理论

网络容量：训练过程中可以调整参数的数量。即在模型训练过程中有多少参数可以自定义进行调整，能调整得越多，网络容量越多。

拟合：训练结果和真实值之间的接近程度。

过拟合：训练结果和真实值之间非常接近，但是和评估值之间相距较大。

欠拟合：训练结果和真实值之间差距较大，但是和评估值之间差距也较大。

较理想的训练结果就是训练结果和真实值之间非常接近，但是和评估值之间也非常接近，也就是正确率较大，损失率较小。那么在实际训练中如何做到这个目标呢？

一般上创建模型时先尽量做到过拟合，然后根据评估结果进行逐渐调整，常用增加过拟合的方法有：

1. 增加图层数量
2. 增加每个图层的神经数量
3. 增加训练次数
4. 调整学习速率

过拟合后常用以下方法进行调整：

1. 减少图层数量
2. 减少每个图层的神经数量
3. 减少训练次数
4. 添加Dropout图层
5. 调整学习速率

最后，最好的模型是增加训练数据和训练周期。