qq_276982536的博客

参考这个：https://www.kalmanfilter.net/alphabeta.html。这个吊打其他一切教程。

前言虽然这个算法大家都知道，但是具体如何证明的，这个有几个知道？？？本文记录学习这篇论文的过程。

SGD太简单了，不说了AdaGradhttps://zh.d2l.ai/chapter_optimization/adagrad.html存在的问题：需要强调的是，小批量随机梯度按元素平方的累加变量 st 出现在学习率的分母项中。因此，如果目标函数有关自变量中某个元素的偏导数一直都较大，那么该元素的学习率将下降较快；反之，如果目标函数有关自变量中某个元素的偏导数一直都较小，那么该元素的学习率将下降较慢。然而，由于 st 一直在累加按元素平方的梯度，自变量中每个元素的学习率在迭代过程中一直在降低（或

参考资料：网上看了很多博客，都不是太靠谱。最后阅读了下《运筹学第三版》（清华大学出版社），感觉里面的内容将的比较透彻，细节上也写的很好。大体介绍文中主要用动态规划和穷举进行比较，如下图中的问题，从A点到G点的最短路径。穷举法的话, 就要对 48 条路线进行比较, 运算在计算机上进行时,比较运算要进行 47 次;求各条路线的距离, 即使用逐段累加方法,也要进行6 + 12 + 2...