Few-Shot Action Recognition with Compromised Metric via Optimal Transport

这篇文章基于最优传输OT来设计distance函数
paper: https://arxiv.org/pdf/2104.03737.pdf

---

Motivation

在小样本行为识别方法中，作者分析大致可以分为两种。一种是基于aggregation，即将视频分为若干segment，提取每个segment特征，采用average pooling等方式对segment特征进行聚合得到一个视频级特征，设计一个距离函数，计算unseen类特征到seen类特征距离，得到预测标签；另一种是基于matching的方法，即提取视频的segment特征后，对两个视频的n个segment进行align操作，比如OTAM中采用DTW对齐路径，将对齐损失作为两个视频的距离。

基于aggregation的方法直接采用sum操作将n个特征转化为一个特征，忽略了long-term时间信息；而基于matching的方法采用了严格的对齐函数，损伤了视频的内容特征。因此作者提出结合这两个方法来设计一个distance函数，从而使得既可以保留内容信息又不会忽视时间信息。

相关知识

小样本问题描述

小样本的episodic训练过程，在meta-training阶段从$D^{tr}$中采样N-way K-shot任务进行训练优化模型；在meta-testing阶段，采样类不相交的N-way K-shot任务计算准确率，target就是在meta-testing阶段，在unseen类上获得高准确率。公式(1) (2) (3)描述该过程，其中$p\left({\hat{y}}_j=n\mid {\mathbf{x}}_j\right)$是unseen类到seen各个类的概率分布，$\overline{\mathrm{D}\mathrm{I}\mathrm{S}}\left(\varphi \left({\mathrm{x}}_j\right);n\right)$为两个视频的距离，目标是最小化交叉熵损失。

p ( y ^ j = n ∣ x j ) = exp ⁡ { − DIS ⁡ ‾ ( ϕ ( x j ) ; n ) } ∑ n ′ = 1 N exp ⁡ { − DIS ⁡ ‾ ( ϕ ( x j ) ; n ′ ) } p\left(\hat{y}_{j}=n \mid \mathbf{x}_{j}\right)=\frac{\exp \left\{-\overline{\operatorname{DIS}}\left(\phi\left(\mathbf{x}_{j}\right) ; n\right)\right\}}{\sum_{n^{\prime}=1}^{N} \exp \left\{- \overline{\operatorname{DIS}}\left(\phi\left(\mathbf{x}_{j}\right) ; n^{\prime}\right)\right\}} p(y^​j​=n∣xj​)=∑n′=1N​exp{−DIS(ϕ(xj​);n′)}exp{−DIS(ϕ(xj​);n)}​ (1)

$\overline{\mathrm{D}\mathrm{I}\mathrm{S}}\left(\varphi \left({\mathrm{x}}_j\right);n\right)=\frac{1}{K}{\sum }_{\left({\mathrm{x}}_i,y_j\right)\in {\mathcal{S}}^{tr}\wedge y_i=n}\mathrm{dis}\left(\varphi \left({\mathrm{x}}_i\right),\varphi \left({\mathrm{x}}_j\right)\right)$ (2)

${\min }_{\varphi }{\sum }_{{\mathcal{T}}^{tr}\sim {\mathcal{D}}^{tr}}{\sum }_{\left({\mathbf{x}}_j,y_j\right)\in {\mathcal{Q}}^{tr}}-\log p\left({\hat{y}}_j=y_j\mid {\mathbf{x}}_j\right)$ (3)

从公式中可以看出，距离函数的设计会很大程度地影响分类的效率，因此如何设计distance函数，是小样本行为识别的一个关键问题。

Optimal Transform最优传输

最优传输问题定义一个几何来比较度量概率空间上的概率分布，基于我们设定的两种分布的cost matrix，它可以找到两个分布的最佳匹配来最小化传输代价。显然可以用在行为识别中，用于找到两个视频的最小传输代价。

定义1. Transportation Plan

对于两个离散分布$\mu$和$\nu$(d维概率分布集合)，定义$\Pi (\mu ,\nu )$为传输三元组的集合，它包含了所有从$\mu$到$\nu$的合法传输路径。
$\Pi (\mu ,\nu )=\left\{\mathbf{T}\in {\mathbb{R}}_{+}^{d\times d}\mid \mathbf{T}{1}_d=\mu ,{\mathbf{T}}^{\top }{1}_d=\nu \right\}$ （4）

定义2. Optimal Transport

给定一个代价矩阵$\mathbf{C}\in {\mathbb{R}}^{d\times d}$，使用传输路径$\mathbf{T}$从$\mu$到$\nu$的总代价可以定义为$⟨\mathbf{T},\mathbf{C}⟩$。$\mu$到$\nu$之间的距离就定义为一个OT问题。

${\eta }_{\mathrm{C}}\triangleq {\min }_{\mathrm{T}\in \Pi (\mathbf{\mu },\mathbf{\nu })}⟨\mathbf{T},\mathbf{C}⟩$ （5）
公式（5）是经典的最优运输问题，但是解决这个问题在计算上很昂贵。向传输对象$\mathbf{T}$添加熵正则化可以得到一个平滑版本的OT问题，从而使得目标函数为严格凸函数，有高效的算法对其求解。

定义3. Sinkhorn Distance

定义$\mathbf{T}$的熵为$\mathcal{H}(\mathrm{T})=-{\sum }_{i=1}^d{\sum }_{j=1}^d{\mathrm{T}}_{ij}\log \left({\mathrm{T}}_{ij}\right)$，通过使用OT问题的一个平滑版本，得到了Sinkhorn Distance。

${\eta }_{\mathrm{C}}^{\lambda }\triangleq {\min }_{\mathrm{T}\in \Pi (\mu ,\nu )}⟨\mathrm{T},\mathrm{C}⟩-\frac{1}{\lambda }\mathcal{H}(\mathrm{T})$ （6）

定义3. Sinkhorn Algorithm

定义矩阵$\mathbf{G}=exp(-\lambda \mathbf{C})$作为$\lambda \mathbf{C}$的组成元素，公式（6）的最优${\mathbf{T}}^{\ast }$可以转换为公式（7）。
${\mathbf{T}}^{\star }=\mathrm{diag}(\mathbf{u})\mathbf{G}\mathrm{diag}(\mathbf{v})$ （7）
其中u和v是由迭代算法得到，$\mathbf{u}\leftarrow \mathbf{\mu }\oslash (\mathbf{G}\mathbf{v}),\mathbf{v}\leftarrow \mathbf{\nu }\oslash \left({\mathbf{G}}^{\top }\mathbf{u}\right)$

方法

首先采用3D卷积提取特征，将输入$\mathbf{x}=\left[{\mathrm{x}}^1,\cdots ,{\mathrm{x}}^m,\cdots ,{\mathrm{x}}^M\right]$编码为$\left[\varphi \left({\mathrm{x}}^1\right),\cdots ,\varphi \left({\mathrm{x}}^m\right),\cdots ,\varphi \left({\mathrm{x}}^M\right)\right]$。

content distance

用OT方法，首先需要定义$\mu$和$\nu$，作者采用视频在segment上的分布作为$\mu$、$\nu$，然后使用Sinkhorn Distance测量两个视频的差异。使用公式（8）和（9）计算两个视频$x_1$和$x_2$的语义距离，${\mu }_1$、${\mu }_2$为一个M维的随机分布，采用欧氏距离计算segment距离。

${\mathrm{dis}}^{\mathrm{S}\mathrm{E}}\left({\mathrm{x}}_1,{\mathrm{x}}_2\right)={\min }_{\mathrm{T}\in \Pi \left({\mathbf{\mu }}_1,{\mathbf{\mu }}_2\right)}⟨\mathbf{T},{\mathbf{C}}^{\mathrm{S}\mathrm{E}}⟩-\frac{1}{\lambda }\mathcal{H}(\mathbf{T})$ （8）

${\mathrm{C}}_{pq}^{\mathrm{S}\mathrm{E}}={\Vert \varphi \left({\mathrm{x}}_1^p\right)-\varphi \left({\mathrm{x}}_2^q\right)\Vert }_2,\forall p,q\in [M]$ （9）

${\mathrm{dis}}^{\mathrm{S}\mathrm{E}}\left({\mathrm{x}}_1,{\mathrm{x}}_2\right)$即为两个视频内容上的距离，还要考虑两个视频的order距离。

temporal distance

positional Cost Matrix：考虑long-term关系的目的是确保视频1中的segment被映射到视频2的segment的邻近位置，这可以用来区分一些对顺序敏感的动作。作者定义了一个positional cost matrix${\mathbf{C}}^{PO}$，它的值随着相关位置距离${\left(\frac{p}{M}-\frac{q}{M}\right)}^2$的增加而增加。和公式（8）类似，可以定义两个视频的位置距离为公式（11）。可以看出${\mathbf{C}}^{PO}$通过给距离远的片段分配更大的运输成本，来实现对视频顺序的软调整。

${\mathbf{C}}_{pq}^{\mathrm{P}\mathrm{O}}=\exp \left\{-\frac{1}{{\sigma }^2}\frac{1}{{\left(\frac{p}{M}-\frac{q}{M}\right)}^2+1}\right\},\forall p,q\in [M]$ （10）

${\mathrm{dis}}^{\mathrm{P}\mathrm{O}}\left({\mathbf{x}}_1,{\mathbf{x}}_2\right)={\min }_{\mathbf{T}\in \Pi \left({\mathbf{\mu }}_1,{\mathbf{\mu }}_2\right)}⟨\mathbf{T},{\mathbf{C}}^{\mathrm{P}\mathrm{O}}⟩-\frac{1}{\lambda }\mathcal{H}(\mathbf{T})$ （11）

CMOT

根据前面计算得到的语义距离和时序距离，定义两个视频的距离为：

$\mathrm{dis}\left({\mathrm{x}}_1,{\mathrm{x}}_2\right)={\mathrm{dis}}^{\mathrm{S}\mathrm{E}}\left({\mathrm{x}}_1,{\mathrm{x}}_2\right)+\alpha {\mathrm{dis}}^{\mathrm{P}\mathrm{O}}\left({\mathrm{x}}_1,{\mathrm{x}}_2\right)$ （12）

通过一个矩阵的点积操作，还可以将公式（12）写为：
$\begin{array}{rl}\mathrm{dis}\left({\mathbf{x}}_1,{\mathbf{x}}_2\right)& =\underset{\mathbf{T}\in \Pi \left({\mathbf{\mu }}_1,{\mathbf{\mu }}_2\right)}{\min }⟨\mathbf{T},\mathbf{C}⟩-\frac{1}{\lambda }\mathcal{H}(\mathbf{T})\\ \text{ s.t. }& \mathbf{C}={\mathbf{C}}^{\mathrm{S}\mathrm{E}}+\alpha {\mathbf{C}}^{\mathrm{P}\mathrm{O}}\end{array}$ （13）

结合前面小样本的N-way K-shot的公式，最终CMOT的模型表示为:
$\begin{array}{ll}{\min }_{\varphi }& {\sum }_{{\mathcal{T}}^{tr}\sim {\mathcal{D}}^{tr}}{\sum }_{\left({\mathbf{x}}_j,y_j\right)\in {\mathcal{Q}}^{tr}}-\log p\left({\hat{y}}_j=y_j\mid {\mathbf{x}}_j\right)\\ \text{ s.t. }& \mathrm{dis}\left({\mathbf{x}}_i,{\mathbf{x}}_j\right)={\min }_{\mathbf{T}\in \Pi \left({\mathbf{\mu }}_i,{\mathbf{\mu }}_j\right)}⟨\mathbf{T},\mathbf{C}⟩-\frac{1}{\lambda }\mathcal{H}(\mathbf{T})\\ & \mathbf{C}={\mathbf{C}}^{\mathrm{S}\mathrm{E}}+\alpha {\mathbf{C}}^{\mathrm{P}\mathrm{O}}\end{array}$ (14)

实验

数据集：HMDB51、UCF101、SM2SM

总结

作者基于最优传输问题OT，重定义了小样本中的距离函数，同时考虑了视频的语义信息和时序信息，最后取得了SOTA。
1、定义了Semantic distance和positional distance
2、基于视频在segment上的分布计算positional distance，通过对相距远的片段施加更大传输代价实现一个排序的软调整。