深度神经网络原理代码实战学习笔记

这一章的内容其实就是把深度神经网络原理用MNIST分类代码讲解了一遍，其实还是前几节的内容，只不过更细一些，估计是老师担心大家前面没学懂，又在这把前面的内容总结再讲，以利于大家都听懂吧。
更细的方面应该有以下两点吧：
1、学习率如何退化，说白了就是一开始学习率较大利于跳过一些山谷即局部最优问题。
2梯度下降四个优化算法的区别，这一块我开始并不明白，SGD为何会导致参数学习收敛过程震荡，咨询老师，老师说SGD意思就是随机抽100张图片组成一批次数据来训练模型，这样数据的特征差异比较明显，W参数是根据数据特征来学习的，所以每次求解值也会不同，随着训练轮数越来越多把所有数据都看了几轮了，学了几轮特征，就会渐渐收敛。而其它几个算法都是在此基础上加入特定优化算法，以取得更好更快的效果。