Tensorflow optimizer源码解读配合文章写优化器

以下链接给了重要参考！
https://zhuanlan.zhihu.com/p/63500952
记录一下过程中的难点

1. 首先这些优化词都是继承自父类optimizer.py
   （D:\anaconda3\envs\tsor_gpu1.9\Lib\site-packages\tensorflow\python\training\optimizer.py）
2. 自定义优化器中需要重写overrides一些方法
3. get_slot（）这个api疑惑了很久，就是自定义或者给的优化器比如说Adam中需要给变量或者可迭代的变量创建一个名字为‘name’的slot，可以理解为参数，准确说应该是在这个优化器中需要的中间参数。
4. 现在还不太懂的是，这些重写的方法在哪儿被调用，又是怎么确定需要重写的方法的。哪些方法只需要继承就行。
5. 
6. 
7. 
8. 
9. 关于文中的新优化器算法，明日再看看，试试改改