Adam优化算法（吴恩达深度学习视频笔记）

Adam实际上就是将momentum和RMSprop结合在一起，并且取得了很好的效果，推荐使用。
下图来自这位朋友的笔记

关于ε的选择其实没那么重要，但你不需要设置它，因为它并不会影响算法表现，一般都是直接调整α的值，看看哪个效果更好，其他参数就用默认值。