《Global2Local》算法论文详解

《Global2Local》算法论文详解

文章地址：《Global2Local: Effificient Structure Search for Video Action Segmentation》

代码地址：https://github.com/ShangHua-Gao/G2L-search

文章来自于南开大学程明明团队和腾讯、中科院，文章发表在CVPR2021。

文章认为当前的视频动作分割算法中，网络的感受野是很重要的，大的感受野有利于观察long-term relations，而小的感受野有利于提取局部特征。现有的网络都是人工设计的感受野，文章提出一种依靠搜索的方法来找到合适的感受野，从而提高网络的性能。文章提出global-to-local search方法，先采用global search找到一种较合适的感受野组合，再采用local search找到一个精度更高的感受野组合。

为了便于理解，这里需要强调一下一个感受野组合就代表一个网络结构

一、网络结构

假设一个TCN网络有L层卷积，每层卷积的dilation-rates/receptive-fields可选择的集合定义为 D = { d 1 , d 2 , . . . , d N } D=\{d_1,d_2,...,d_N\} D={d1​,d2​,...,dN​}，所有层感受野的组合为$C=c_1,...,c_l,...,c_L$，其中$l\in [1,L]$为空洞卷积的层号索引，且$c_l\in D$。所以这里可以有$|D{|}^L$个感受野组合。对于MS-TCN来说就有$1024^{40}$个感受野组合。（详情请看MS-TCN）直接对这些感受野组合进行搜索是不太实际的所以文章使用global-to-local的方法来提出一种可行的搜索方式。

1.1 Global Search

首先是降低感受野的搜索空间，global search的搜索空间定义如下：

D g = { d i = k i , i ∈ [ 0 , 1 , . . . , T ] } D_g = \{d_i = k^i,i\in[0,1,...,T]\} Dg​={di​=ki,i∈[0,1,...,T]}

其中k是表示搜索空间稀疏程度的控制因子，T表示搜索空间的最大值。在相同最大值的情况下，可以看出$|D_g|\ll |D|$，即global search的搜索空间远小于原始的搜索空间。比如在k=2的情况下，MS-TCN最大的感受野为1024，搜索空间从$1024^{40}$降低到$11^{40}$。

即使做了这样的一个降低搜索空间的操作，但可以看出搜索空间仍然很大，暴力搜索还是很困难的。文章提出一种基于遗传算法的方法来寻找由于人工设计感受野组合的coarse combinations。基于遗传算法的global search方法如下图所示：

下面来分别介绍图中的selection、crossover、mutation操作。

1.1.1 selection

感受野组合的候选（即候选的网络结构）用公式表示如下：

P = { C i , i ∈ [ 1 , M ] } ( 1 ) P=\{C_i, i\in [1, M]\}\quad (1) P={Ci​,i∈[1,M]}(1)

其中，$C_i$表示一个global search的一个候选结构，M表示总的候选结构数量。

selection操作则是在P这个候选空间中选择需要的组合出来，选择方式则是通过acc的评价结果来选择的：

$E(C_i)=f(V|C_i,{\theta }_n)(2)$

其中$E(C_i)$表示结构$C_i$的评价结果，$f(\cdot )$表示评价指标（这里使用的是每一帧是否分割正确的一个acc指标），V表示在验证集，${\theta }_n$表示训练了n个epochs的模型。

注意：selection操作在代码中为filter函数而不是select函数，选择出较好的配置结构

1.1.2 crossover

这个步骤目的是为了产生一些新的感受野组合结构。将已有的候选每两个进行组合，然后将这两个候选网络中随机取一段，进行感受野互换，从而获取到新的感受野组合。

上述说过的每两个是怎么选择出来的，是按照下式选择的：

$p(C_i)=\frac{E(C_i)}{{\sum }_i^{M}E(C_i)}(3)$

即根据计算出来的$p(C_i)$随机的选择两两配对的感受野组合。（详情请查看代码中的select函数）

crossover操作请查看代码中的cross函数。

1.1.3 mutation

这个步骤是为了避免算法走到局部最优解，所以引入mutation。

mutation会通过一个预设的概率$p_m$来定义有多大的几率需要进行mutation操作，并且随机的将要变异的一个感受野组合中的一定量的感受野（这个一定量文章设置的是0.2）进行改变，改变的值也是随机的。

1.1.4 global search的伪代码

Global search
输入：search算法总共迭代N次，每个结构训练n个epoch，随机初始化P，变异概率为pm，P的总个数为M；
    for iter in [i, N] do
        1.利用公式（3）选择出一些感受野组合出来，并且每两个间进行cross操作
        2.根据概率p_m来变异出新的感受野组合
        3.每个组合训练n个epochs
        4.利用公式（2）选择出M个感受野组合出来，如果不够那么随机生产一些补上，作为新的感受野组合的集合
    end for
    return P

1.2 Local Search

该部分全称为基于期望指导的local search(Expectation Guided Iterative Local Search)。

我们希望在当前数据集上获得dilation rates的概率质量分布(probability mass distribution)，那么就可以获得这个数据集上一个dilation rate的期望来更好的适应当前数据集。但是数据集上dilation rates的概率质量分布是不可以获得的。因此，文章采用共享卷积参数改变dilation rate来学习得到近似的概率质量函数。

为了得到方便搜索，我们定义待学习的dilation rate是从区间$[D_l-\Delta D_l,D_l+\Delta D_l]$采样出S个值进行学习。采样出来的dilation rate集合定义为 T l = { d i ∣ i ∈ [ 1 , S ] } T_l=\{d_i|i\in[1,S]\} Tl​={di​∣i∈[1,S]}其中$d_i=D_l-\Delta D_l+(i-1)\cdot 2\Delta D_l/(S-1)$，$\Delta D_l$为控制搜索精度的值。公式其实就是想表达在区间$[D_l-\Delta D_l,D_l+\Delta D_l]$进行均匀采样，比如文章$\Delta D_l=0.1D_l$，S=3(即在区间中采样3个点)那么 T l = { D l − Δ D l , D l , D l + Δ D l } T_l=\{D_l-\Delta D_l, D_l, D_l+\Delta D_l\} Tl​={Dl​−ΔDl​,Dl​,Dl​+ΔDl​}

可以理解为一个卷积现在分成了S个卷积，这S个卷积的权重共享，只是dilation rate不一样。S个dilation rate都要学习它们对应的权重，权重定义为 W = { w 1 , w 2 , . . . , w i , i ∈ [ 1 , S ] } W=\{w_1, w_2,...,w_i,i\in [1,S]\} W={w1​,w2​,...,wi​,i∈[1,S]}，通过这些权重来反应这些dilation rate的重要性。由于W的值是没有界的，所以将它们归一化，归一化后其实就是上面提到的近似的概率质量函数$PMF(d_i)$:

$PMF(d_i)={\alpha }_i=\frac{|w_i|}{{\sum }_i^S|w_i|}（4）$

得到这个概率质量函数后，我们可以计算期望来表示一个新的dilation rate $D_l^{\prime }$

$D_l^{\prime }=\lfloor {\sum }_{d_i\in T_l}PMF(d_i)\cdot d_i\rfloor （5）$

上述计算如下图所示：

训练网络时对于输入x来说，输出y可以表示为：

$y={\sum }_i^S{\alpha }_i\psi (x,d_i,\theta )（6）$

其中$\psi (x,d_i,\theta )$表示一个权重为$\theta$，dilation rate为$d_i$的卷积操作。

1.2.1 local search的伪代码

Expectation Guided Iterative Local Search
 输入：迭代N，初始化感受野D；使用D初始化模型；
 for iter in [1,N] do
     对每一层在D的基础上构建Tl
     训练模型并根据公式(4)获得PMF
     根据公式（5）计算出新的dilation rate
     更新D
 end for
 return local-searched D

算法核心就这些，具体实验流程和实验结果请查看原文。

视频算法交流qq群：657626967