浅谈优化方法

荒废快两年了，还是重新拾起来吧！学如逆水行舟，不进则退！

---

优化方法这块说难也不难，在tf中调用方法即可，但说简单并不简单，理解其中原理，会更有助于使用。

以下是我组内分享时整理的ppt，文章中大部分的内容是来自于李沐的《动手深度学习》，再加了一些自己平常看这些方法时的问题的解释。欢迎大家评论交流。

本文涉及的算法包括以下5个方法，其中梯度下降法只做了简单的介绍：

1.梯度下降法

2.动量法

3.AdaGrad算法

4.RMSProp算法

5.Adam算法

1.梯度下降法

2.动量法

 

3.AdaGrad算法

4.RMSProp算法

5.Adam算法