机器学习中的泰勒展开（基于OBD分析）

在网络剪枝的论文中有时会提及泰勒展开这个操作，那为什么要展开呢？

在网络剪枝方法中，有一个环节是重要度评估。

当前大致分为：①基于幅值；②基于范数；③基于敏感度；④基于损失变化。

泰勒展开是基于敏感度评估的一个环节。

最早的基于敏感度的方法是图灵奖得主Yann Le Cun于1989年提出的《Optimal Brain Damage》方法（简称OBD）

该文章提出了一个假设：有可能从一个合理的网络中删除一半（或更多）的权重，最终得到的网络性能相同或更好。

文章还讨论了网络复杂度与泛化性能之间的关系，指出过多的权重可能导致泛化性能不佳，而过少的权重则可能无法准确表示数据。

OBD中的一个核心步骤就是利用“删除一个参数之后，目标函数的变化”来定义一个参数的贡献度。

我们要如何观察目标函数的变化呢？

最简单最直接的方式就是：对某一个参数添加一个小扰动，计算目标函数扰动前后发生的变化，对网络中的所有参数都要这么计算一遍，才能得到所有参数的贡献度。

如此看来，直接计算每一个参数删除引发的目标函数的变化是很困难的。

OBD提出：通过建立一个误差函数的局部模型，来分析预测扰动参数向量引起的影响。

首先：使用泰勒级数来近似目标函数$E$，用一个扰动向量$\delta U$来改变目标函数，变为$\delta E$，此时的$\delta E$也称为显著性或敏感度$S_i$。

$\delta E={\sum }_i{g}_i\delta u_i+\frac{1}{2}{\sum }_i{h}_{ii}\delta u_i^2+\frac{1}{2}{\sum }_{i\ne j}{h}_{ij}\delta u_i\delta u_j+O\left(\Vert \delta U{\Vert }^3\right)$

其中，$\delta u_i$为$\delta U$的分量，$g_i$为$E$关于$U$的梯度$G$的分量，$g_i=\frac{\delta E}{\delta u_i}$。$h_{ij}$为Hessian的元素，$h_{ij}=\frac{{\partial }^{2}E}{\partial u_i\partial u_j}$

现在的目标是，是找到一个参数集合，使得删除掉这个参数集合之后$E$的变化最小。

上面那个公式有个问题，Hessian矩阵的计算量太大了，对于那个年代来说确实很大。

因此，OBD提出了三种近似方法来简化计算$\delta E$。

① 对角近似：文章假设非对角元素（即参数之间的相互作用）对总体显著性的影响较小，因此忽略了Hessian矩阵的非对角元素，只考虑对角线元素。这意味着每个权重的影响被假设为相互独立的。

② 极值近似：文章假设权重删除操作发生在训练收敛后，此时权重向量处于损失函数的局部最小点。在局部最小点，损失函数的一阶导数（梯度）为零，因此可以忽略泰勒展开中的一阶项。

③ 二次近似：文章进一步假设损失函数在权重的当前值附近近似为二次的，从而可以忽略泰勒展开中的高阶项。

此时$\delta E$的计算则简化为：

$S_i=\delta E=\frac{1}{2}{\sum }_i{h}_{ii}\delta u_i^2$

此时就剩$h_{ii}$的计算了。

根据文章提出的Levenberg-Marquardt（列文伯格-马夸尔特）算法近似计算Hessian矩阵的对角线元素$h_{ii}$。

回到最初的问题，为什么要泰勒展开？

泰勒展开的目的是：利用一系列多项式来近似某个函数。

那为什么要近似某个函数呢？

因为这个函数在原始状态下过于复杂，难以完整地、精确地表示出来。既然表示出来都困难了，更别说计算出来了。

此时，泰勒级数是个很好的数学工具，泰勒级数展开允许我们使用局部信息（即当前参数值附近的导数信息）来近似整个函数。

例如：许多机器学习模型的目标函数是非线性的。泰勒级数的一阶展开（即线性近似）可以将非线性问题在局部线性化，就可以实现我们耳熟能详的基于梯度的反向传播算法。