Adam学习

原本以为Adam算法是一种优化框架，
但看了下Adam的那篇经典论文，发现并没有框架，大多的是公式推导，参数更新公式，然后又回顾了吴恩达的deeplearning的相关视频，发现Adam的确是一种重点在于参数（梯度，学习速率）优化算法，而非我之前记忆的学习框架（我之前记得的可能是Adaboost）。而且在Adam中关键的几个参数已经给出了最优解，所以也不用在程序中进行调试，直接在框架中调用Adam这种方法就好。