从费舍尔信息矩阵（Fisher Information Matrix, FIM）到自然梯度法

• 参考：
  • TRPO系列讲解
  • Fisher Information Matrix
  • Natural Gradient Descent

---

0. Preliminary

• 考虑一个机器学习模型的训练过程。模型本身常常设计为参数化概率模型 $p(x|\theta )$，通过优化损失函数 $\mathcal{L}$ 的方式最大化模型表示的似然函数，从而拟合数据中的映射关系。由于似然函数本身是一个概率分布，当参数从 $\theta$ 更新为 $\theta +d$ 时，可以用 KL 散度 $\mathrm{KL}[p(x|\theta )\Vert p(x|\theta +d)]$ 来度量模型所描述的映射关系的变化程度。这里存在两个空间
  1. 分布空间：模型似然 $p(x|\theta )$ 取值的空间。可以用 KL 散度度量其中任意两点之间的差异程度
  2. 参数空间：参数向量 $\theta$ 取值的空间。由于许多机器学习模型 $p(x|\theta )$ 在参数空间中可能会表现出较为光滑的性质，即 $d\to 0$ 时 $\mathrm{KL}[p(x|\theta )\Vert p(x|\theta +d)]\to 0$，这使参数空间往往具有某种流形结构，即在宏观上存在曲率，但在局部上类似于欧几里得空间。
• 观察一下常规梯度下降更新公式
  $${\theta }_{k+1}\leftarrow {\theta }_k-\alpha {▽}_{\theta }\mathcal{L}({\theta }_k)$$ 注意到参数更新方向由梯度 $-{▽}_{\theta }\mathcal{L}({\theta }_k)$ 给出，这是参数空间中在 ${\theta }_k$ 局部最陡峭的下降方向，形式化地表示为
  $$\frac{-{\nabla }_{\theta }\mathcal{L}(\theta )}{\Vert {\nabla }_{\theta }\mathcal{L}(\theta )\Vert }=\underset{ϵ\to 0}{\lim }\frac{1}{ϵ}\underset{d\text{ s.t. }\Vert d\Vert \le ϵ}{\mathrm{argmin}}\mathcal{L}(\theta +d)$$ 上式说明：参数空间中最陡的下降方向 $d$ 满足新参数 $\theta +d$ 在当前参数 $\theta$ 的 $ϵ$ 邻域内，且能最小化损失函数 $\mathcal{L}$。由于梯度下降法中参数的邻域是通过欧氏范数（L2范数）刻画的，因此梯度下降优化过程依赖于 $\theta$ 参数空间中的欧氏度量
• 梯度下降法 (Gradient descent) 将参数空间视作一种欧氏空间，梯度向量是通过对目标函数在当前点进行一阶泰勒展开得到的。这样的线性逼近在局部范围内是合理的，但由于欧氏空间不存在曲率，在高度非线性或弯曲的参数空间中，其可能不足以准确描述整个参数空间的结构，导致梯度下降过程收敛缓慢或出现震荡。自然梯度法 (Natural Gradient Descent) 将参数空间视为黎曼空间中的一个黎曼流形，这样就能在优化过程中考虑到参数空间的曲率，以缓解梯度下降法的收敛问题。该方法主要借助 费舍尔信息矩阵 (Fisher Information Matrix, FIM) 的逆度量参数空间的几何机构和曲率信息，通过适当的度量调整梯度的方向实现更好的优化过程
• 本文以自然梯度法为脉络，贯穿以下概念
  
  1. $\theta$ 的参数空间可以一个黎曼流形 (Riemannian manifold)
  2. 黎曼流形是一种特殊的黎曼空间 (Riemannian space)
  3. 黎曼空间是一种完备的内积空间，其内积结构称为黎曼度量 (riemannian metric)
  4. 费舍尔信息矩阵 (Fisher Information Matrix, FIM) 是一种特殊的黎曼度量，它本身度量了参数空间中的曲率，描述了似然函数对参数的敏感性
  5. KL散度 (KL-divergence) 的二阶泰勒展开形式与 FIM 相关，利用 FIM 可以得到一种常用的 KL 散度近似方法
  6. FIM 是对数似然函数的海森矩阵 (Hessian Matrix) ${\mathrm{H}}_{\log p(x|\theta )}$ 的期望的负值，可以看作对数似然函数 $\log p(x|\theta )$ 的曲率的度量
  7. 利用 FIM 提供的参数空间曲率信息调整梯度下降法的更新过程，即得到 自然梯度法 (Natural Gradient Descent)

1. 黎曼空间与黎曼流形

1.1 黎曼空间

• 黎曼空间 (Riemannian space)是一种以黎曼度量作为内积结构的，完备的内积空间

  1. 内积空间：是定义了内积操作的向量空间，基于内积运算，可以定义向量元素的长度（范数）和元素之间的夹角等概念，进而可在空间中建立交角、垂直和投影等欧几里得几何学。习惯上称二维或三维的内积空间为欧氏空间，内积空间是欧氏空间的推广
  2. 黎曼度量：是一种定义在流形上的光滑的内积结构，用于度量流形上切空间中向量的长度和角度（详见 1.2 节）
  3. 完备：是指空间中没有任何遗漏的点，就是说该空间中任何一个点，在与它的距离趋近为 0 的地方都存在另一个同属于该空间的点。完备性意味着该空间对极限操作封闭

• 黎曼空间中曲面的表示形式比较简单，因而适用于解决曲面问题。如下图所示，相同的一个三维球体，在黎曼空间中的解析式比欧氏空间中简单很多
  

• 关于函数空间的更多说明，参考 函数空间一览：从线性空间到再生核希尔伯特空间

1.2 黎曼流形

• 流形 (manifold) 是一种数学概念，用于描述一种特殊的拓扑空间：流形上任意一点的局部都具有欧几里德空间的拓扑结构（与欧几里德空间同胚），即每个点都有一个邻域，可以通过光滑的映射与欧几里德空间的开集一一对应。这种局部同胚性质使得我们能够在流形上引入欧几里德空间中的概念，如切空间、切向量、长度、夹角等。以下是一个流形的示意图，它从整体上看可以具有复杂的光滑或非光滑曲面结构，但是在任意局部和欧氏空间同构
  
• 黎曼流形 (Riemannian manifold) 是黎曼空间中的流形，是一种引入了黎曼度量的流形
  • 切空间 (Tangent space) 指流形上任意点 $p$ 处的线性近似空间，记为 $T_{p}M$
  • 黎曼度量 (riemannian metric) 定义了切空间上的内积运算。设 $M$ 是一个流形，对于其上的每个切空间，黎曼度量 $g$ 定义了
    $$g_p(v,w),v,w\in T_{p}M$$该内积运算满足以下性质
    $$\begin{array}{rlrl}& 对称性:& & g(v,w)=g(w,v)\\ & 正定性:& & \forall v\in T_{p}M,g(v,v)>0\\ & 线性性:& & g(av+bw,u)=a\cdot g(v,u)+b\cdot g(w,u),其中a,b是标量\\ & 光滑性:& & 在局部坐标系下，内积结构g的各个分量是光滑函数\end{array}$$ 前三条性质确保了黎曼度量在切空间中表现为合法的内积结构，使得我们能够在流形上定义类似于欧几里德空间中的内积和度量的概念；最后一条确保了流形上定义的几何结构在局部是光滑的，即在流形上每一点处的切空间中的内积结构都可以通过局部坐标系的选择表示为光滑函数，而这些光滑函数在流形上是连续可微的

2. 海森矩阵、费舍尔信息矩阵和 KL 散度

2.1 海森矩阵

• 海森矩阵 (Hessian Matrix) 是由某个多元函数的二阶偏导数构成的方阵，描述了函数的局部曲率。形式化地说，对于 ${\mathbb{R}}^n\to \mathbb{R}$ 的多元实值函数 $f\left(x_1,x_2,\cdots ,x_n\right)$，其在 $x$ 点处的 Hessian 矩阵定义为
  $$\begin{array}{c}{\mathrm{H}}_f(\mathbf{x})={\left[\begin{array}{cccc}\frac{{\partial }^{2}f}{\partial x_1^2}& \frac{{\partial }^f}{\partial x_1\partial x_2}& \cdots & \frac{{\partial }^f}{\partial x_1\partial x_n}\\ \frac{{\partial }^{2}f}{\partial x_2\partial x_1}& \frac{{\partial }^f}{\partial x_2^2}& \cdots & \frac{{\partial }^f}{\partial x_2\partial x_n}\\ ⋮& ⋮& \ddots & ⋮\\ \frac{{\partial }^{2}f}{\partial x_n\partial x_1}& \frac{{\partial }^f}{\partial x_n\partial x_2}& \cdots & \frac{{\partial }^f}{\partial x_n^2}\end{array}\right]}_{n\times n}\end{array}$$ 要求 $f$ 在展开位置 $x$ 附近二阶连续可导（二阶偏导数连续，原函数光滑），由于二阶偏导数可交换，${\mathrm{H}}_f$ 是对称矩阵
• 海森矩阵包含了函数的局部曲率信息，其作用包括
  1. 判断多元函数的极值问题
  2. 多元函数在某点的泰勒展开式的矩阵形式中，展开到二阶时就会出现 Hessian 矩阵
  3. 优化问题中，海森矩阵常常用于描述目标函数（损失函数）在某个点附近的二阶行为，从而可以帮助确定最优化算法的步长和方向，在牛顿法（Newton’s method）和拟牛顿法（Quasi-Newton methods）中都有用到

2.2 费舍尔信息矩阵

2.2.1 定义

• 考虑极大似然估计的过程，目标分布由 ${\theta }_{m\times 1}=[{\theta }_1,{\theta }_2,...,{\theta }_m{]}^T$ 参数化，首先从目标分布中收集样本 $x_i\sim p(x|\theta )$ 构成数据集 X = { x 1 , x 2 , . . . , x n } \pmb{X} = \{x_1,x_2,...,x_n\} X={x1​,x2​,...,xn​}，记为 $X\sim p(X|\theta )$，然后写出对数似然函数
  $$L(X|\theta )=\sum _{i=1}^n\log p(x_i|\theta )$$ 通过最大化对数似然函数来得到估计参数，即
  $$\hat{\theta }=\underset{\theta }{\mathrm{argmax}}\sum _{i=1}^n\log p(x_i|\theta )$$ 在取得极值处，应该有梯度为 0，即
  $$\begin{array}{rl}& {▽}_{\theta }L(X|\theta )=\sum _{i=1}^n{▽}_{\theta }\log p(x_i|\theta )\\ & {▽}_{\theta }L(X|\theta ){|}_{\theta =\hat{\theta }}=0\end{array}$$

• 基于以上观察，我们将关于任意样本 $x$ 的对数似然函数的梯度定义为得分函数 (score function)，利用它评估 $\hat{\theta }$ 估计的良好程度
  $$s(x|\theta {)}_{m\times 1}={▽}_{\theta }L(x|\theta )={▽}_{\theta }\log p(x|\theta )$$ 注意得分函数是标量对向量 $\theta$ 求导，因此 $s(x|\theta )$ 是和 $\theta$ 相同尺寸的向量。得分函数的重要性质是其期望为 0，即 ${\mathbb{E}}_{x\sim p(x|\theta )}\left[s(x|\theta )\right]=0$，证明如下

  $$\begin{array}{rl}\underset{p(x|\theta )}{\mathbb{E}}[s(x|\theta )]& =\underset{p(x|\theta )}{\mathbb{E}}[\nabla \log p(x|\theta )]\\ & =\int \nabla \log p(x|\theta )p(x|\theta )\mathrm{d}x\\ & =\int \frac{\nabla p(x|\theta )}{p(x|\theta )}p(x|\theta )\mathrm{d}x\\ & =\int \nabla p(x|\theta )\mathrm{d}x\\ & =\nabla \int p(x|\theta )\mathrm{d}x\\ & =\nabla 1\\ & =0_{m\times 1}\end{array}$$

  因此可以用大量样本的 $s(x|\theta )$ 期望评估参数估计值 $\hat{\theta }$ 的质量，即 ${\mathbb{E}}_{p(x|\theta )}\left[s(x|\hat{\theta })\right]$ 越接近 $0$，估计越准确

• 进一步地，参数估计值 $\hat{\theta }$ 的置信度可以由大量样本的 $s(x|\theta )$ 协方差来描述，这是一个围绕期望值的不确定度的度量，将以上期望为 0 的结果代入协方差计算公式，得到
  $$\underset{p(x|\theta )}{\mathbb{E}}[\left(s(x|\theta )-0\right)\cdot {\left(s(x|\theta )-0\right)}^T]$$ 由于得分函数 $s(x|\theta )$ 是尺寸为 $m\times 1$ 的向量，以上协方差是尺寸 $m\times m$ 的协方差矩阵，这就是 费舍尔信息矩阵 (Fisher information matrix) 的定义，它描述了极大似然估计参数值的置信度（不确定度）的信息，整理如下
  $$\begin{array}{rl}\mathrm{F}& =\underset{p(x|\theta )}{\mathbb{E}}[s(x|\theta )\cdot s(x|\theta {)}^T]\\ & =\underset{p(x|\theta )}{\mathbb{E}}[{▽}_{\theta }\log p(x|\theta )\cdot {▽}_{\theta }\log p(x|\theta {)}^T]\\ & \approx \frac{1}{n}\sum _{i=1}^n{▽}_{\theta }\log p(x_i|\theta )\cdot {▽}_{\theta }\log p(x_i|\theta {)}^T\end{array}$$

• 最后看一下 wiki 百科上关于费舍尔信息矩阵的定义

  In information geometry, the Fisher information metric is a particular Riemannian metric which can be defined on a smooth statistical manifold, i.e., a smooth manifold whose points are probability measures defined on a common probability space. lt can be used to calculate the informational difference between measurements. —— wiki
  
  在信息几何学中，费舍尔信息度量是一种特殊的黎曼度量，它可以定义在光滑的统计流形上，这种流形上的点是定义在联合概率空间上的概率密度。费舍尔信息度量可以用来计算测量之间的信息差异

2.2.2 与海森矩阵的关系

• 费舍尔信息矩阵 $\mathrm{F}$ 是对数似然函数的海森矩阵 ${\mathrm{H}}_{\log p(x|\theta )}$ 的期望的负值，即
  $$\mathrm{F}=-\underset{p(x|\theta )}{\mathbb{E}}[{\mathrm{H}}_{\log p(x|\theta )}]$$ 从直观上看，这意味着费舍尔信息矩阵 $\mathrm{F}$ 可以看作对数似然函数 $\log p(x|\theta )$ 的曲率的度量。证明如下

  首先根据定义，利用求导法则展开对数似然函数的海森矩阵 $H_{\log p(x|\theta )}$
  $$\begin{array}{rl}{\mathrm{H}}_{\log p(x\mid \theta )}& =\frac{\partial }{\partial \theta }\left(\frac{\partial \log p(x\mid \theta )}{\partial \theta }\right)\\ & =\frac{\partial }{\partial \theta }\left(\frac{\nabla p(x\mid \theta )}{p(x\mid \theta )}\right)\\ & =\frac{{\mathrm{H}}_{p(x\mid \theta )}p(x\mid \theta )-\nabla p(x\mid \theta )\nabla p(x\mid \theta {)}^{\mathrm{T}}}{p(x\mid \theta )p(x\mid \theta )}\\ & =\frac{{\mathrm{H}}_{p(x\mid \theta )}p(x\mid \theta )}{p(x\mid \theta )p(x\mid \theta )}-\frac{\nabla p(x\mid \theta )\nabla p(x\mid \theta {)}^{\mathrm{T}}}{p(x\mid \theta )p(x\mid \theta )}\\ & =\frac{{\mathrm{H}}_{p(x\mid \theta )}}{p(x\mid \theta )}-\left(\frac{\nabla p(x\mid \theta )}{p(x\mid \theta )}\right){\left(\frac{\nabla p(x\mid \theta )}{p(x\mid \theta )}\right)}^{\mathrm{T}}\end{array}$$
  进一步取关于 $p(x|\theta )$ 的期望，得到
  $$\begin{array}{rl}\underset{p(x\mid \theta )}{\mathbb{E}}\left[{\mathrm{H}}_{\log p(x\mid \theta )}\right]& =\underset{p(x\mid \theta )}{\mathbb{E}}\left[\frac{{\mathrm{H}}_{p(x\mid \theta )}}{p(x\mid \theta )}-\left(\frac{\nabla p(x\mid \theta )}{p(x\mid \theta )}\right){\left(\frac{\nabla p(x\mid \theta )}{p(x\mid \theta )}\right)}^{\mathrm{T}}\right]\\ & =\underset{p(x\mid \theta )}{\mathbb{E}}\left[\frac{{\mathrm{H}}_{p(x\mid \theta )}}{p(x\mid \theta )}\right]-\underset{p(x\mid \theta )}{\mathbb{E}}\left[\left(\frac{\nabla p(x\mid \theta )}{p(x\mid \theta )}\right){\left(\frac{\nabla p(x\mid \theta )}{p(x\mid \theta )}\right)}^{\mathrm{T}}\right]\\ & =\int \frac{{\mathrm{H}}_{p(x\mid \theta )}}{p(x\mid \theta )}p(x\mid \theta )\mathrm{d}x-\underset{p(x\mid \theta )}{\mathbb{E}}\left[\nabla \log p(x\mid \theta )\nabla \log p(x\mid \theta {)}^{\mathrm{T}}\right]\\ & ={\mathrm{H}}_{\int p(x\mid \theta )\mathrm{d}x}-\mathrm{F}\\ & ={\mathrm{H}}_1-\mathrm{F}\\ & =-\mathrm{F}.\end{array}$$

• 利用以上关系，在一些优化方法中可以用 $\mathrm{F}$ 估计 $\mathrm{H}$，前者往往计算成本较低

2.2.3 与 KL 散度的关系

• KL 散度 是一种常用的度量分布 $P,Q$ 间差异的工具，当随机变量是离散或连续值时，计算公式分别为
  $$\begin{array}{rl}& \mathrm{KL}(P\Vert Q)=\sum _{i=1}^{n}p(x)\log \frac{p(x)}{q(x)}\\ & \mathrm{KL}(P\Vert Q)={\int }_{-\infty }^{\infty }p(x)\log \left(\frac{p(x)}{q(x)}\right)dx\end{array}$$ 值得注意的是，KL 散度是非对称的，因此并非一种真实度量，但是当参数变化量趋于零时 KL 散度渐进对称，即
  $$\begin{array}{rl}& P=p(x|\theta )\\ & Q_1=p(x|\theta +d),Q_2=p(x|\theta -d)\\ & \mathrm{KL}(P\Vert Q_1)\approx \mathrm{KL}(P\Vert Q_2),d\to 0\end{array}$$ 因此也可以将其作为度量使用。关于 KL 散度的详细说明参考 信息论概念详细梳理：信息量、信息熵、条件熵、互信息、交叉熵、KL散度、JS散度

• 费舍尔信息矩阵 $\mathrm{F}$ 与 KL 散度之间有重要关系：令 $d\to 0$，$\mathrm{KL}[p(x|\theta )\Vert p(x|\theta +d)]$ 的二阶泰勒展开满足
  $$\mathrm{KL}[p(x|\theta )\Vert p(x|\theta +d)]\approx \frac{1}{2}{d}^T\mathrm{F}d$$ 证明如下

  首先，给定分布 $p(x|\theta )$，考察分布 $p(x|{\theta }^{\prime })$ 和它之间的 KL 散度的二阶泰勒展开式子，根据定义有
  $$\mathrm{KL}\left[p(x\mid \theta )\Vert p\left(x\mid {\theta }^{\prime }\right)\right]=\underset{p(x\mid \theta )}{\mathbb{E}}[\log p(x\mid \theta )]-\underset{p(x\mid \theta )}{\mathbb{E}}\left[\log p\left(x\mid {\theta }^{\prime }\right)\right]$$ 其关于 ${\theta }^{\prime }$ 的 一阶梯度为
  $$\begin{array}{rl}{\nabla }_{{\theta }^{\prime }}\mathrm{KL}\left[p(x\mid \theta )\Vert p\left(x\mid {\theta }^{\prime }\right)\right]& ={\nabla }_{{\theta }^{\prime }}\underset{p(x\mid \theta )}{\mathbb{E}}[\log p(x\mid \theta )]-{\nabla }_{{\theta }^{\prime }}\underset{p(x\mid \theta )}{\mathbb{E}}\left[\log p\left(x\mid {\theta }^{\prime }\right)\right]\\ & =-\underset{p(x\mid \theta )}{\mathbb{E}}\left[{\nabla }_{{\theta }^{\prime }}\log p\left(x\mid {\theta }^{\prime }\right)\right]\end{array}$$ 关于 ${\theta }^{\prime }$ 的二阶梯度为
  $$\begin{array}{rl}{\nabla }_{{\theta }^{\prime }}^2\mathrm{KL}\left[p(x\mid \theta )\Vert p\left(x\mid {\theta }^{\prime }\right)\right]& =-\int p(x\mid \theta ){\nabla }_{{\theta }^{\prime }}^2\log p\left(x\mid {\theta }^{\prime }\right)\mathrm{d}x\\ & =-\int p(x\mid \theta ){\mathrm{H}}_{\log p(x\mid {\theta }^{\prime })}\mathrm{d}x\\ & =-\underset{p(x\mid \theta )}{\mathbb{E}}\left[{\mathrm{H}}_{\log p(x\mid {\theta }^{\prime })}\right]\end{array}$$ 得到以上展开式后，进一步考虑在 ${\theta }^{\prime }=\theta$ 处的展开结果（注意这时把 $p(x|\theta )$ 看做不变量），将 $p(x|\theta )$ 简记为 $p_{\theta }$，有
  $$\begin{array}{rlrl}& {{\nabla }_{{\theta }^{\prime }}\mathrm{KL}\left[p_{\theta }\Vert p_{{\theta }^{\prime }}\right]|}_{{\theta }^{\prime }=\theta }=-\underset{p(x\mid \theta )}{\mathbb{E}}\left[{\nabla }_{\theta }\log p\left(x\mid \theta \right)\right]=0& & （\mathrm{2.1.1}节得分函数性质）\\ & {\nabla }_{{\theta }^{\prime }}^2\mathrm{KL}\left[p_{\theta }\Vert p_{{\theta }^{\prime }}\right]{|}_{{\theta }^{\prime }=\theta }=-\underset{p(x\mid \theta )}{\mathbb{E}}\left[{\mathrm{H}}_{\log p(x\mid \theta )}\right]=\mathrm{F}& & （\mathrm{2.1.2}节\mathrm{F}和\mathrm{H}的关系）\end{array}$$

  利用以上结果，考察令 $d\to 0$ 时 $\mathrm{KL}[p(x|\theta )\Vert p(x|\theta +d)]$ 的二阶泰勒展开，将 $p(x|\theta )$ 简记为 $p_{\theta }$，有
  $$\begin{array}{rl}\mathrm{KL}\left[p_{\theta }\Vert p_{\theta +d}\right]& \approx \mathrm{KL}\left[p_{\theta }\Vert p_{\theta }\right]+{\left({{\nabla }_{{\theta }^{\prime }}\mathrm{KL}\left[p_{\theta }\Vert p_{{\theta }^{\prime }}\right]|}_{{\theta }^{\prime }=\theta }\right)}^{\mathrm{T}}d+\frac{1}{2}{d}^{\mathrm{T}}\left({\nabla }_{{\theta }^{\prime }}^2\mathrm{KL}\left[p(x\mid \theta )\Vert p\left(x\mid {\theta }^{\prime }\right)\right]{|}_{{\theta }^{\prime }}\right)d\\ & =0-0^{\mathrm{T}}d+\frac{1}{2}{d}^{\mathrm{T}}\mathrm{F}d\\ & =\frac{1}{2}{d}^{\mathrm{T}}\mathrm{F}d\end{array}$$

3. 自然梯度法

• 本节对第 0 节中提到的 “欧氏参数空间” 问题做进一步讨论。这里我们主要考虑 最速下降法 (Steepest Descent Method)，这类方法基于损失函数/目标函数在当前位置的梯度来确定参数的更新方向（负梯度方向），以使目标函数值下降最快
  
  如上图所示，自然梯度法 (Natural Gradient Descent) 的主要特点在于其使用费舍尔信息矩阵这种黎曼度量来调整梯度方向，因此可以考虑到参数空间的流形结构

3.1 使用欧氏空间度量的最速下降法

• 首先，考察优化问题问题中的单步迭代过程，如下对全局优化目标进行分解
  $$\underset{\theta }{\min }\mathcal{L}(\theta )\Rightarrow d^k=\underset{d}{\mathrm{argmin}}\mathcal{L}({\theta }^k+d),\text{s.t.}||d||=1$$ 其中 $d$ 是一个方向向量，要求其模长固定为 1。这意味在每一步优化过程中，我们要解一个子优化问题：找出能够使得损失函数 $\mathcal{L}$ 减少最快的方向 $d$。接下来在 ${\theta }^k$ 处一阶泰勒展开新的优化目标
  $$\mathcal{L}({\theta }^k+d)\approx \mathcal{L}({\theta }^k)+{▽}_{\theta }\mathcal{L}({\theta }^k{)}^{T}d$$ 其中 $\mathcal{L}({\theta }^k)$ 是一个定值，每步迭代的优化方向为
  $$d^k=\underset{d}{\mathrm{argmin}}\left({▽}_{\theta }\mathcal{L}({\theta }^k{)}^{T}d\right)\text{s.t.}||d||=1$$
• 当使用不用的范数表达 $||d||=1$ 时，就对应了不同的优化方法
  $$\{\begin{array}{llcc}& \Vert d{\Vert }_2=1& & \text{梯度下降法}\\ & \Vert d{\Vert }_1=1& & \text{坐标下降法 }\\ & \Vert d{\Vert }_{{\nabla }^2\mathcal{L}(d)}=d^T{\nabla }^2\mathcal{L}(d)d=1& & \text{牛顿法 }\end{array}$$ 注意这些都是欧氏空间度量，因此都没有考虑到参数空间的曲率。值得一提的是，牛顿法解出的优化步骤为
  $${\theta }^{k+1}\leftarrow {\theta }^k-\alpha {\mathrm{H}}_{\mathcal{L}}^{-1}{▽}_{\theta }\mathcal{L}({\theta }^k)$$ 其中 ${\mathrm{H}}_{\mathcal{L}}$ 是损失函数关于参数 $\theta$ 的二阶导数信息，即海森矩阵

3.2 自然梯度法

• 自然梯度法中，每一步迭代的更新向量（注意这里不要求是单位向量）$d$ 如下计算
  $$d^k=\underset{d}{\mathrm{argmin}}\mathcal{L}({\theta }^k+d)\text{ s.t. }\mathrm{KL}\left[p_{{\theta }^k}\Vert p_{{\theta }^k+d}\right]=c$$ 相比 3.1 节的几个方法，该优化目标只是把条件从 $||d||=1$ 改成了 $\mathrm{KL}\left[p_{\theta }\Vert p_{\theta +d}\right]=c$，其中 $c$ 是某个常数
  1. 条件 $||d||=1$ 约束每一步优化过程中参数变化量 $△\theta$ 的模长恒定，由于参数空间中存在曲率，这并不能保持 $p(x|\theta )$ 分布空间的变化程度恒定
  2. 条件 $\mathrm{KL}\left[p_{\theta }\Vert p_{\theta +d}\right]=c$ 直接约束模型以恒定的程度在分布空间移动，从而排除了参数空间曲率的影响
• 用拉格朗日乘子法将以最小化转换为无约束优化问题，再在 ${\theta }^k$ 处对 $\mathcal{L}({\theta }^k+d)$ 进行一阶泰勒展开，对 $\mathrm{KL}\left[p_{{\theta }^k}\Vert p_{{\theta }^k+d}\right]$ 进行二阶泰勒展开（引用2.2.3节 $\mathrm{F}$ 和 KL 散度的关系）
  $$\begin{array}{rl}{d}^k& =\underset{d}{\mathrm{argmin}}\mathcal{L}({\theta }^k+d)+\lambda \left(\mathrm{KL}\left[p_{{\theta }^k}\Vert p_{{\theta }^k+d}\right]-c\right)\\ & \approx \underset{d}{\mathrm{argmin}}\mathcal{L}({\theta }^k)+{\nabla }_{\theta }\mathcal{L}({\theta }^k{)}^{\mathrm{T}}d+\frac{1}{2}\lambda d^{\mathrm{T}}\mathrm{F}d-\lambda c.\end{array}$$ 通过令关于 $d$ 的偏导数为 $0$ 来解以上无约束优化问题
  $$\begin{array}{rl}0& =\frac{\partial }{\partial d}\left(\mathcal{L}({\theta }^k)+{\nabla }_{\theta }\mathcal{L}({\theta }^k{)}^{\mathrm{T}}d+\frac{1}{2}\lambda d^{\mathrm{T}}\mathrm{F}d-\lambda c\right)\\ & ={\nabla }_{\theta }\mathcal{L}({\theta }^k)+\lambda \mathrm{F}d\\ & \\ \lambda \mathrm{F}d& =-{\nabla }_{\theta }\mathcal{L}({\theta }^k)\\ d& =-\frac{1}{\lambda }{\mathrm{F}}^{-1}{\nabla }_{\theta }\mathcal{L}({\theta }^k)\end{array}$$ 其中 $\lambda$ 是拉格朗日常数。根据结果可知，使用费舍尔信息矩阵的逆 ${\mathrm{F}}^{-1}$，根据参数空间曲率来调节梯度值 ${\nabla }_{\theta }\mathcal{L}({\theta }^k)$，可以保证每一步优化过程前后模型 $p(x|\theta )$ 都以恒定的程度在分布空间移动，实现更稳定的优化过程。
• 下面给出自然梯度法的伪代码
  
• 自然梯度法的一个问题是：当模型参数量 $m$ 比较大时，${\mathrm{F}}_{m\times m}$ 的尺寸会变得非常大，以至于无法计算、存储或求逆。这和牛顿法（要计算海森矩阵）等二阶优化方法在深度学习中不受欢迎其实是相同的问题。解决该问题的一个方法是对 $\mathrm{F}$ 或 $\mathrm{H}$ 做近似。比如 ADAM 优化方法计算梯度的一阶和二阶矩的移动平均值，其中一阶矩可以看作是动量（和本文关注点无关）；二阶矩近似了 $\mathrm{F}$，但将其限制为对角矩阵，这个近似将存储空间从 $O(n^2)$ 降低到 $O(n)$，并且将求逆运算从 $O(n^3)$ 降低到 $O(n)$。实践证明 ADAM 工作得非常好，已经是目前深度学习中最流行的优化器之一