自动微分

一、前言

  梯度下降法（Gradient Descendent）是机器学习的核心算法之一，自动微分则是梯度下降法的核心；

  梯度下降法用于求损失函数的最优值，梯度下降是通过计算参数与损失函数的梯度并在梯度的方向不断迭代求得极值；但是在机器学习、深度学习中很多求导往往是很复杂的，手动使用链式法则求导很容易出错，借助于计算机也只能是硬编码；

这时候就需要借助于自动微分了，求导主要有这么四种：

• 手动微分法
• 数值微分法
• 符号微分法

这里分别说说这几种求导方法；