关于Adam优化算法

1.基础知识

矩估计:
一般有：原点矩和中心矩。
随机变量X的n阶原点矩$a_n$定义为$a_n=E\left(X^n\right)$
根据定义，我们可知：
　　　　一阶原点矩为 $E(\mathrm{x})$。
　　　　二阶原点矩为 $E\left({\mathrm{x}}^2\right)$。
因为样本与总体的原点矩是近似的，所以可以通过让它们相等来用样本矩估计总体矩。

设总体分布为$f\left(x;{\theta }_1,\cdots ,{\theta }_k\right)$，则它的矩（原点矩和中心矩都可以，此处以原点矩为例）
对连续型随机变量：
$E({\mathrm{x}}^n)={\int }_{-\infty }^{\infty }{x}^{n}f\left(x;{\theta }_1,\cdots ,{\theta }_k\right)d_x$
对离散型随机变量：
$E({\mathrm{x}}^n)={\sum }_{i=1}^n{x}_{i}f\left(x_i;{\theta }_1,\cdots ,{\theta }_k\right)$

一阶梯度法与二阶梯度法:
对一个函数$\Vert f(x){\Vert }_2^2$，要求解它的最小或最大值，一般直接求导很难求解，一般可以通过迭代的方式计算，那么迭代的增量$\Delta X$如何设置，这里将目标函数在x附近进行泰勒展开：

$\Vert f(x+\Delta x){\Vert }_2^2\approx \Vert f(x){\Vert }_2^2+J(x)\Delta x+\frac{1}{2}\Delta x^{T}H\Delta x$

这里J是目标函数关于x的导数(雅克比矩阵)，而H则是二阶导数(海塞[hessian]矩阵)。我们可以选择保留泰勒展开的一阶二阶项，对应的求解方法则为一阶梯度或二阶梯度法。
1）如果保留一阶梯度，那么增量的解就为：
$\Delta x=-J(x{)}^T$
通常$\Delta x$前面会加一个步长λ：
$\Delta x=-\lambda J^T(x)$
2)如果保留两阶梯度，那么增量的解就为：
$\Delta x=-H^{-1}{J}^T$

雅各比矩阵：
设y=f(x)，x和y都是一个向量，则对应的雅可比矩阵为
$J=[\begin{array}{l}\frac{d{y}_1}{d{x}_1}\end{array}$