深度学习调试规则

目前的神经网络模型已经变得比较庞大，通常可以理解为一个模型系统。而这种解决方案的庞大会导致我们在自己场景中使用背景限制。那么如何优化成为我们需要深度掌握的方向！
在我个人的工作和学习过程中总结如下：
1、数据数量：epoch、batch、iteration计算
2、计算的输入规则
3、模型的损失评估方法
4、结构体作用
5、代码块链接方式
6、batchszie的选择
7、learning rate选择
8、Geadient clipping梯度剪切
9、Batch normalization
10、Stochastic gradient denscent