qq_43491212的博客

本文主要讲述了自动微分（Automatic Differentiation，AD）的两种模式（Forward 和 Reverse）。

通过一张表格，罗列了常见的归一化方法

在深度学习中，指数加权平均不仅体现在优化器中，还会使用在模型更新中，会定义两个相同的模型，一个用于训练，一个用于保存采用EMA更新的参数，一定程度上增加了模型的鲁棒性。

深度学习常用优化器参考：https://cloud.tencent.com/developer/article/1872633https://www.cnblogs.com/guoyaohua/p/8542554.htmlhttps://zhuanlan.zhihu.com/p/377141061论文前置知识：梯度计算、指数加权平均1. 背景为深度学习模型选择合适的 optimizer 不是一项容易的任务。Pytorch、Tensorflow、Paddle 等深度学习库都提供了多种优