暴力检测-Modality-Aware Contrastive Instance Learning with Self-Distillation for Weakly-Supervised Audio

L1783516140

已于 2024-07-15 10:29:02 修改

阅读量968

点赞数 19

分类专栏：视频理解文章标签：论文阅读

于 2024-06-07 21:48:17 首次发布

本文链接：https://blog.csdn.net/L1783516140/article/details/139536038

版权

视频理解专栏收录该内容

9 篇文章 1 订阅

订阅专栏

摘要

弱监督的视听暴力检测旨在通过视频级别标签区分包含多模态暴力事件的片段。许多先前的研究以早期或中期的方式进行视听整合和交互，但忽视了弱监督环境下的模态异质性。本文分析了多实例学习(MIL)过程的模态异步和无关实例现象，并进一步探讨了其对弱监督视听学习的负面影响。为了解决这些问题，我们提出了一种模式感知的自蒸馏对比实例学习(MACIL-SD)策略。具体来说，我们利用轻量级的双流网络来生成音频和视觉包，其中单峰背景，暴力和正常实例以无监督的方式聚类到半包中。然后将音频和视觉暴力半袋表征组合为正对，将暴力半袋与相反情态的背景和正常实例组合为对比负对。此外，采用自蒸馏模块将单模态视觉知识转移到视听模型中，消除了噪声，缩小了单模态和多模态特征之间的语义差距。实验表明，在大规模的XD-Violence数据集上，我们的框架以较低的复杂度优于以前的方法。结果还表明，我们提出的方法可以作为插件模块来增强其他网络。代码可在https://github.com/JustinYuu/MACIL_SD上获得。

引言

近年来，暴力检测已经从纯视觉任务[4,18,20,30,33,45,47,54,61,67,68]扩展到视听多模态问题[43,44,62]，其中相应的听觉内容补充了细粒度的暴力线索。尽管许多模态融合和交互方法已经显示出良好的结果，但弱监督环境下多实例学习(MIL)[38]框架的模态差异仍有待探索。

为了减轻对精细标记数据的需求，MIL被广泛用于弱监督的暴力检测，其中每个视频序列的输出形成一个包含多个片段级实例的包。在视听场景中，所有先前的作品都有一个通用的方案，即将每个视听片段视为一个完整的实例，并将前k个视听logits平均作为最终的视频级分数。然而，我们分析了这个公式存在两个缺陷：模态异步和未分化实例。模态异步表明听觉和视觉暴力线索在时间上不一致。以图1(a)中典型的暴力事件虐待为例，当施暴者殴打受害者时，随后会出现尖叫，整个过程都被视为暴力事件。在这种情况下，部分视觉模态(第2 -3片段)和音频模态(第4-5片段)中的场景包含暴力线索。我们认为直接利用视听对作为实例可能会在视频级优化中引入数据噪声。我们发现的另一个缺陷是未区分的实例，也就是说，选择前K个实例进行优化会导致许多未参与的实例。如图1(b)所示，在一系列暴力视频中，暴力事件可以在一些音频/视觉实例中得到反映。相比之下，其他图像则包含背景噪音等无关元素。相反，在正常事件的视频中，一些片段包含正常事件的元素，而其他片段包含背景信息。在这种情况下，K-max激活放弃了包含背景元素的实例，并且暴力和正常实例之间的差异没有明确显示出来。为此，我们认为在暴力、正常和背景实例之间添加对比约束可能会导致对暴力内容的区分。

请添加图片描述

图1

在初步分析的基础上，我们提出了一个由模态感知对比实例学习(MA-CIL)和自蒸馏(SD)模块构建的简单而有效的框架。为了解决模态异步问题，我们在原始的视听包之外还形成了单模态袋，计算单模态logits，并将top-K和bottom-K单模态实例的嵌入聚类为半包。为了区分实例，我们提出了一种基于模态感知的对比方法。其中，将音频和视觉暴力半袋构建为正对，将暴力半袋与背景实例嵌入和正常半袋组装为负对。此外，采用自蒸馏模块将单模态知识提取到视听模型中，消除了模态之间的语义差距，减轻了大量跨模态交互带来的数据噪声。综上所述，我们的贡献如下:

我们分析了广泛使用的MIL框架在视听场景中的模态异步和无差别实例现象，进一步阐述了它们在弱监督视听暴力检测中的不足。
我们提出了一种基于自蒸馏框架的模态感知对比实例学习方法，以引入特征识别并缓解模态噪声。
由于配备了轻量级网络，我们的框架在XD-Violence数据集上的性能优于最先进的方法，而且我们的模型还显示出作为插件模块的通用性。

准备工作

给定一个视听视频序列 $S=(S^{A},S^{V})$ ，其中 $S^{A}$ 为音频通道， $S^{V}$ 变量为视觉通道，将整个序列划分为 $T$ 个不重叠的片段 ${s_{t}^{A},s_{t}^{V}\}_{t=1}^{N}$ 。对于一个视听对 $s_t^{A},s_t^{V})$ ，弱监督暴力检测任务需要通过一个事件关联标签 $y_{t}\in\{0,1\}$ 来区分它是否包含暴力事件，其中 $y_{t}=1$ 表示当前片段中至少有一个模态包含暴力线索。在训练阶段，只有视频级别的标签(分)可用于优化。因此，一般的方案是利用多实例学习(MIL)过程来满足弱监督。

在MIL框架中，将每个视频序列 $S$ 视为一个包，以视频段 ${s_t^A,s_t^V\}_{t=1}^N$ 为实例。然后通过特定的特征级/分数级池化方法聚合实例以生成视频级预测𝑝。在本文中，我们使用平均池化的K-max激活而不是基于注意力的方法[41,53]和全局池化[51,67]作为聚合函数。具体来说，给定CNN网络提取的音频和视觉特征 $f_{a},f_{v}$ ，我们使用多模态网络生成单模态logits $l_{a},l_{v}$ 和视听logits $l_{av}$ 。音频和视觉实例的嵌入符号分别表示为 $h_{a}$ 和 $h_{v}$ 。然后我们取𝐾最大logits的平均值，并使用sigmoid激活生成视频级预测𝑝。由于我们提出的对比学习方法的附加约束，我们定义了单模态袋 $\mathrm{B}_{a},\mathrm{B}_{v}$ 。在每个单模态袋中，实例根据其固有特征聚类成几个半袋 $B_{m},m\in\{a,v\}$ ，对应的半袋表示记为 $\mathcal{B}_{m},m\in\{a,v\}$ 。

方法

我们提出的框架由三部分组成，一个轻量级的双流网络，模态感知对比实例学习(MA-CIL)和自蒸馏(SD)模块。图2中所示的框架的详细说明如下。

请添加图片描述

图2

1、Two-Stream Network

考虑到现有方法在大规模网络中存在参数冗余的问题，设计了一种与编码器无关的轻量级结构来实现特征聚合和模态交互。以预训练网络(例如I3D和VGGish分别用于视觉和音频特征)提取的视觉和听觉特征 $f_{v},f_{a}$ 作为输入，我们提出的网络由三部分组成，线性层保持输入特征的维度相同，跨模态注意力层进行模态间交互；以及用于弱监督训练的MIL模块。其中，跨模态注意力层是在transformer的编码器部分[57]的基础上进行改进的，包括多头自注意、前馈层、残差连接[26]和层归一化[3]。在原始的自注意力块中，特征由三个不同的参数矩阵分别作为query，key和value向量来进行投影。然后通过 $att(q,k,v)=softmax(\frac{qk^{T}}{\sqrt{d_{m}}})v$ 计算scale点积注意力得分，其中 $q, k, v$ 为查询、键和值向量， $d_m$ 为查询向量的维数， $T$ 为矩阵的转置运算。为了加强跨模态交互，我们将自注意块的键和值向量更改为其他模态的特征:

$h_{a}=att(f_{a}W_{Q},f_{v}W_{K},f_{v}W_{V}),\quad(1)$

$h_{v}=att(f_{v}W_{Q},f_{a}W_{K},f_{a}W_{V}),\quad(2)$

其中， $h_{a}$ ， $h_{v}$ 是更新的音频和视觉特征， $W_{Q}$ ， $W_{K}$ ，和 $W_{V}$ 是可学习参数。我们采用共享参数策略进行特征投影，以减少计算量。

我们采用弱监督设置下的MIL程序来获得视频级分数。与之前的工作不同，我们单独处理单模态特征以减轻模态异步。具体地说，在每个模态中使用全连接层来生成单模态logits。然后，我们将单模态logits的和作为融合的视听logits，同时保留单模态logits用于后续的对比学习。最后，对前k个视听logits进行平均池化，并将其放入sigmoid激活中，以生成视频级别的分数以进行优化。整个程序如下:

$l_{a},l_{v}=W_{a}f_{a}^{out}+b_{a},W_{v}f_{v}^{out}+b_{v}$

$p=\Theta(\Omega(\sigma(l_{a}\oplus l_{v})))\quad(4)$

其中 $W_{a}$ 、 $W_{v}$ 、 $b_{a}$ 、 $b_{v}$ 为可学习参数，Ω为K-max激活， $\sigma$ 为sigmoid函数，⊕为求和运算，Θ为平均池化，𝑝为视频级预测。

2、MA-CIL

为了利用更多的空闲实例，我们提出了MA-CIL模块，如图2的右侧所示。给定嵌入，我们执行无监督聚类，根据视觉和音频logits将它们分为暴力、正常和背景半袋表示。我们认为可以利用语义无关实例之间的差异来丰富模型的识别能力。

具体来说，我们首先利用视频级概率𝑝来区分给定视频是否包含暴力事件。在每个mini-batch中，对于 $p_{i}>0.5$ 的视频序列 $S_{i}$ ，具有最高logits的top-K个实例聚类为暴力半袋 $B_{m}^{vio}(i)=\{h_{m}(n)\}_{n=1}^{K_{vio}},m\in\{a,v\}$ 。对于 $p_{j}\leq0.5$ 的序列 $S_j$ ，选取top-K个实例作为正常半袋型的 $B_{m}^{nor}(j)=\{h_{m}(n)\}_{n=1}^{K_{nor}},m\in\{a,v\}$ 。我们希望在正常和暴力事件中加入对比，可以帮助模型区分感知信号的暴力程度。

此外，我们认为正常视频和暴力视频都包含背景片段，学习事件相关片段和背景噪声之间的差异有助于定位。因此，我们选择整个mini-batch的bottom-k个实例作为背景半袋 $B_{m}^{bgd}=\{h_{m}(n)\}_{n=1}^{K_{bgd}},m\in\{a,v\}$ 。在每个小批量中，模型应该将暴力的视听实例与暴力实例和其他实例(背景和正常)构建的负对进行对比。

一种直观的方法是随机选择相反模态的半袋内和半袋间实例作为正对和负对。然而，我们认为具有不同位置的音频和视觉暴力实例可能在语义上不匹配，例如分别表达暴力事件的开始和结束。因此，假设它们具有相同的含义是不自然的。相反，我们对每个袋中的所有暴力实例的嵌入进行平均池化，形成半袋级表示 $\mathcal{B}_{m}^{vio},m\in\{a,v\}$ 。通过这样做，音频和视觉表示都表达了事件级语义，从而减轻了噪声问题。为此，我们构建了半袋级正对，它们由音频和视觉暴力半袋表示 $\mathcal{B}_{a}^{vio},\mathcal{B}_{v}^{vio}$ 组合而成。我们还构建了半袋到实例的负对，以保持大量的对比样本，其中暴力半袋表示与相反模态中的背景和正常实例嵌入 $h_{m}^{nor},h_{m}^{bgd},m\in\{a,v\}$ 组合成负对。

我们使用InfoNCE[55]作为这部分的训练目标，它缩小了正对之间的距离，扩大了负对之间的距离。对于音频暴力半袋表示 $B_{a}^{vio}(i)$ 与视觉正常实例嵌入 ${h_{v}^{nor}(n)\}_{n=1}^{K_{nor}}$ 之间的目标可以表示为：

$\begin{aligned}\mathcal{L}_{ct}^{v2n}(B_{a}^{vio}(i))&=\\&-log\frac{e^{\phi(B_{a}^{vio}(i),B_{v}^{vio}(i))/\tau)}}{e^{\phi(B_{a}^{vio}(i),B_{v}^{vio}(i))/\tau)}+\sum_{n=1}^{K_{nor}}e^{\phi(B_{a}^{vio}(i),h_{v}^{nor}(n)/\tau)}},\end{aligned}$ （5）

式中，$\phi $为余弦相似函数，$ \tau $为温度超参数，$ K_{nor} $为整个小批量中的正常实例数。类似地，音频暴力半袋表示$ B_{a}^{{vio}(i)$与视觉背景实例嵌入${h_{v}}{bgd}(n)}{n=1}^{K{bgd}}$之间的目标可以表示为：

$\begin{aligned}&\mathcal{L}_{ct}^{v2b}(B_{a}^{vio}(i))=\\&&\text{(6)}\\&-log\frac{e^{\phi(B_{a}^{vio}(i),B_{v}^{vio}(i))/\tau)}}{e^{\phi(B_{a}^{vio}(i),B_{v}^{vio}(i))/\tau)}+\sum_{n=1}^{K_{bgd}}e^{\phi(B_{a}^{vio}(i),h_{v}^{bgd}(n)/\tau)}},\end{aligned}$

其中 $K_{bgd}$ 表示整个mini-batch中背景实例的数量。视觉与听觉的对应物非常相似，因此为了简洁的写作，我们省略了它们。

3、Self-Distillation

前一部分提供的视听交互会引入大量的模态噪声，而模态异步也会导致同一时间位置的多模态和单模态特征的语义失配。为了解决这些问题，我们认为同时训练一个类似的视觉网络可以使模型集成单模态和多模态知识。通过可控的共蒸馏策略，我们提出的模块保证了模态降噪和鲁棒模态不可知知识。

具体来说，我们提出了一个类似的单模态网络，它包含与我们的双流网络相当的架构。跨模态注意块被包含自注意的标准Transformer编码器块所取代。在训练过程中，单模态网络以相对较小的学习率进行训练，并且相同层的参数通过指数移动平均策略被注入到音频-视觉网络中：

$\theta_{av}\leftarrow m\theta_{av}+(1-m)\theta_{v}\quad(7)$

式中，其中， $\theta_{av}$ 和 $\theta_{v}$ 分别表示视听模型和视觉模型的参数， $m$ 是控制超参数，遵循余弦调度器，在训练过程中从原始值 $\hat{m}$ 增加到1。

4、Learning Objective

整个框架以联合训练的方式进行优化。对于视频级预测𝑝，我们利用二元交叉熵 $\mathcal{L_B}$ 作为训练目标，并使用线性增长策略来控制对比损失的权重。总的目标是:

$\begin{aligned}\mathcal{L}_{av}= & \frac{\lambda_{v2n}(t)}{K_{vio}}\sum_{i}(\mathcal{L}_{ct}^{v2n}(B_{a}^{vio}(i))+\mathcal{L}_{ct}^{v2n}(B_{v}^{vio}(i)))+ & \\ & & \left(8\right)\\ & \frac{\lambda_{v2b}(t)}{K_{vio}}\sum_{i}(\mathcal{L}_{ct}^{v2b}(B_{a}^{vio}(i))+(\mathcal{L}_{ct}^{v2b}(B_{v}^{vio}(i)))+\mathcal{L}_{B} & \end{aligned}$