【视频异常检测】Cross-Modal Fusion and Attention Mechanism for Weakly Supervised Video Anomaly Detection

L1783516140

已于 2024-07-15 10:26:46 修改

阅读量1.9k

点赞数 49

分类专栏：视频理解文章标签：音视频论文阅读

于 2024-06-30 22:43:59 首次发布

本文链接：https://blog.csdn.net/L1783516140/article/details/140087932

版权

视频理解专栏收录该内容

9 篇文章 1 订阅

订阅专栏

摘要

近年来，弱监督视频异常检测(WS-VAD)成为仅使用视频级标签识别视频中暴力、裸露等异常事件的当代研究方向。然而，这项任务面临着巨大的挑战，包括处理不平衡的模态信息和一致地区分正常和异常特征。在本文中，我们针对这些挑战，提出了一个多模态WS-VAD框架来准确检测暴力和裸露等异常。在提出的框架内，我们引入了一种新的融合机制，称为跨模态融合适配器(CFA)，它能够动态选择并增强与视觉模态高度相关的视听特征。此外，我们引入了双曲洛伦兹图注意力机制(Hyperbolic Lorentzian Graph Attention, HLGAtt)来有效捕获正常和异常表示之间的层次关系，从而提高了特征分离的准确性。通过大量的实验，我们证明了所提出的模型在暴力和裸体检测的基准数据集上取得了最先进的结果。

1、引言

在现代科技时代，孩子们越来越多地使用在线平台学习、娱乐和与他人联系。然而，这种便利的访问方式也让人担心他们会接触到有害和不合适的内容，尤其是暴力和裸露的内容。对儿童情感健康和心理发展的潜在不利影响强调了实施强有力的机制来发现暴力和裸露的重要性。检测视频中的这种异常是一个众所周知的计算机视觉问题，它在其他现实世界的应用中也很有用，例如监视系统、犯罪预防和内容审核。在视频中获取帧级异常的注释是昂贵且耗时的。因此，WS-VAD已成为一个突出的研究领域。WS-VAD专注于学习异常事件，如暴力和裸露，仅基于视频级二元标签。在这种方法中，如果没有检测到异常事件，则将视频归类为正常。相反，如果存在任何形式的异常事件，如暴力或裸体，则将其归类为异常。WSVAD方法通常采用多实例学习(Multiple Instance Learning, MIL)[17]进行模型训练。在这里，一个正常的视频被视为一个没有异常片段的负袋，而一个异常视频被视为一个或多个异常片段的正袋。通过优化MIL损失来训练异常评价函数，确保正袋比负(正常)袋具有更高的异常值。

继MIL之后，最近又提出了几种基于单模态(即基于视频的方法[10,13,28 - 30,34,35])和多模态[1,19,21,36 - 38,40]的WS-VAD方法。与基于单模态的方法相比，多模态方法显示出了令人鼓舞的结果，这些方法通过利用来自不同模态的互补信息来共同学习音频和视觉表示以提高性能。尽管多模态方法表现出了良好的性能，但它们面临着两个主要挑战：1）结合视听特征时的模态信息不平衡；2）在正常和异常特征之间区分不一致。最近，Peng等人发现，模态不平衡的问题主要是由于来自真实场景的音频信号中的噪声。为了解决这个问题，他们建议听觉信息对异常检测的贡献小于视觉线索，从而降低音频特征的优先级。但是，当音频数据与视觉数据一样重要时，必须纠正这种方法。为了解决另一个问题，即正常和异常特征之间不一致的区分，先前的研究利用了图表示学习，其中每个实例被视为图中的一个节点。然而，这些方法仍然难以准确区分它们。

在本研究中，我们提出了一个新的框架来应对这些挑战。为了解决模态信息不平衡的问题，我们引入了一种新颖的融合模块CFA。它通过优先考虑音频特征相对于视觉模态的重要性来动态调整每种模态的影响。这种选择性过程确保只使用对视觉学习至关重要的相关音频特征。通过适应性地选择相对于视觉模态最合适的特征，我们的方法通过整合相关的音频特征来增强视觉特征的学习。此外，我们引入了一种基于双曲图卷积网络的HLGAtt机制，以保持正常和异常特征之间的一致区分。该机制在双曲空间中运行，通过空间和时间特征学习来捕获正常和异常表示之间的层次关系，这有助于区分正常和异常特征。

在这里插入图片描述

图1

所提出的模型准确地识别异常事件，并优于现有的最先进的(SOTA)方法，用于暴力和裸体检测任务。图1显示了从XD-Violence数据集的几个暴力和正常实例中获得的异常评分分析，并将其与各种方法(如仅基于视频的方法[36]，Concate融合[36]，Detour融合[21]方法)进行了比较。图1显示，与其他模型相比，所提出的模型准确地识别了异常。我们总结本文的贡献如下：

我们提出了一种新的WS-VAD框架，以解决视听模态信息的不平衡问题，有效区分异常特征和正常特征，从而准确检测到暴力、裸露等异常事件。
为了解决模态信息不平衡的问题，我们引入了一个新的融合模块CFA，该模块通过动态调节每个模态的贡献来帮助所提出的框架有效地促进多模态交互。
我们引入了一种新的注意力机制HLGAtt来捕捉正常和异常表征之间的层次关系，从而增强了特征分离。

方法

1、问题陈述

给定一组 $N$ 个视频， $X=\{X_{i}\}_{i=1}^{N}$ ，对应的真视频级标签 $Y=\{Y_{i}\}_{i=1}^{N}\in\{1,0\}$ ，其中 $Y_{i}=1$ 表示视频中存在异常事件， $Y_{i}=0$ 表示不存在异常事件，我们的目标是以弱监督的方式准确检测视频中的暴力和裸露等异常事件。具体来说，每个视频 $X_{i}$ 最初被分成基于16帧的 $T$ 个不重叠的多模态片段 $M=\{M_{i}^{V},M_{i}^{A}\}_{i=1}^{T})$ ，通过预训练的CNN网络对这些片段进行处理，提取相应的视觉特征 $F_{V}\in\mathbb{R}^{T\times D_{V}}$ 和音频特征 $F_A\in\mathbb{R}^{T\times D_A}$ ，其中 $D_V$ 和 $D_A$ 分别表示视频和音频模态的特征维数。其中 $M_{i}^{V}$ 和 $M_{i}^{A}$ 分别表示视频段和音频段。然后将这些提取的视频和音频特征转发到所提出的框架中，该框架识别输入视频是否包含任何异常事件。

为了准确识别异常事件，我们提出了一个新的框架，如图2所示，其中我们引入了新的跨模态融合模块和双曲洛伦兹图注意机制。这些模块的细节将在后面的小节中讨论。

在这里插入图片描述

图2

2、Cross-modal Fusion Adapter (CFA)

CFA模块由prefix-tuned-based bottleneck attention和调制机制组成。The prefix-tuned-based bottleneck attention有助于有效地在视听模态之间进行多模态交互。调制机制考虑到音频特征对视觉模态的重要性，动态调节融合过程中各模态的贡献。

Prefix-Tuning bottleneck attention mechanism

该机制通过prefix-tuned操作，将学习到的表示与初始化的参数相结合，将先验知识融入到特征转换过程中。为此，该过程涉及将从音频特征 $F_{A}$ 获得的键 $K$ 和值 $V$ 与prefixes $P_{k}$ 和 $P_{v}$ 拼接起来，分别产生prefix-tuned的键 $K_{p}$ 和值 $V_{p}$ 。参数 $P_{k}$ 和 $P_{v}$ 初始化为维度为 $\mathbb{R}^{B\times D_{A}\times D_{p}}$ 的零矩阵，其中 $B、D_{A}和D_{p}$ 分别表示批处理大小、音频特征维度和prefix维度。

这些prefix-tuned的键 $K_{p}$ 和值 $V_{p}$ 以及查询 $Q$ （即视觉特征 $F_{V}$ ），然后被传递给跨模态多头部注意模块[23]。该模块使音频和视觉模态的prefix-tuned特征之间的交互成为可能，使它们能够有选择地和情境地关注每种模态的相关信息。在这个过程中，注意力分数是基于查询、前缀调优键和值计算的。跨模态多头注意模块函数( $f_{CMA}$ )的数学表达式为

F_{Att}=f_{CMA}(Q,K_{p},V_{p})=Softmax\biggl(\frac{Q\cdot K_{p}^{T}}{\sqrt{D_{K_{P}}}}\biggr)\times V_{p},

（1）

式中， $D_{K_{P}}$ 表示键向量 $K_{p}$ 的维数。注意力特征 $F_{Att}$ 随后被传递到bottleneck适配器模块。在此阶段，bottleneck适配器确保模式之间的平滑交互，同时保留特定于模式的特征。它包括向下缩放的全连接层(即 $f_{down}$ )，然后是高斯误差线性单元(GELU)激活(即 $f_{GELU}$ )和向上缩放的全连接层(即 $f_{up}$ )。这可以在数学上表示为

\hat{F}_{Att}=f_{up}(f_{GELU}(f_{down}(F_{Att}))),

（2）

这里，GELU激活函数引入非线性，允许复杂的特征转换。这种精心的设计确保适配器模块有效地调整输入特征以共享bottleneck表示，从而促进上下文感知融合。

Modulation Mechanism

在提出的CFA模块中，我们引入调制因子，通过考虑其音频特征相对于视觉模态的重要性来动态调整各个模态的影响。这种机制是由一个可学习的调制函数来促进的，该函数对音频特征 $F_A$ 进行操作，以选择对视觉模态重要的相关音频特征。得到的调制特征 $F_{Mod}$ 被定义为

F_{Mod}=f_{MF}(F_A)=\sigma(W_{mod}\cdot F_A).\quad(3)

其中，σ表示sigmoid激活， $W_{mod}$ 表示与调制函数相关的权重。sigmoid激活函数确保调制因子的范围在0到1之间，从而调节应用于融合表示的调制程度。

接下来，使用融合和细化过程，首先将调制特征与prefix-tuning bottleneck attention的输出融合，然后通过全连接层对融合表示进行细化。这个操作可以在数学上表示为

F_{Fused}=f_{FC}(F_V+(\hat{F}_{Att}\times F_{Mod})).\quad(4)

调制机制 $f_{MF}()$ 根据音频特征对视觉模态的重要性来修改前缀调优瓶颈注意力的输出。通过融合和细化过程，最终的融合表示被精心制作，以从两种模态中捕获最相关的信息，同时减少噪声并保留模态特定的特征。

3、Hyperbolic Lorentzian Graph Attention (HLGAtt) Mechanism

在提出的框架中，我们引入了一个基于新的注意机制HLGAtt的双曲图卷积网络。提出的HLGAtt使用双曲洛伦兹图注意机制，该机制学习分层曲率参数来捕获输入图的层次结构，从而与现有的基于图的[21,36]或基于transformer的[40]方法相比，增强了正常和异常表示之间的层次关系。它由双曲空间转换操作、并行节点上的洛伦兹线性变换和增强模块处理以及融合操作组成。

首先，我们使用指数函数将融合的视听特征 $F_{Fused}$ 转换到双曲空间。由此得到转换后的融合特征图 $F_{H}\in\mathbb{R}^{T\times2D_{H}}$ ，其中 $T$ 为片段数， $D_H$ 为双曲维数。

最近，Zhang等人提出了一种双曲图注意机制，该机制利用并行分支过程来学习各自分支中的不同特征和模式来完成预测任务。受此[39]的启发，我们在两个并行分支(即节点A和节点B)上处理转换后的双曲特征映射，以从输入特征图中学习特定的模式。分离分支确保具有相似特征的特征被引导到各自的节点。这允许每个分支学习正常和异常特征的独特属性，从而更精确地区分它们。

转换后的双曲特征图在每个节点上经过洛伦兹线性变换增强模块。本文采用洛伦兹线性变换[4,21]进行特征变换，并利用提出的增强机制对变换后的时空特征进行进一步增强。在Lorentzian线性变换中，我们首先建立邻接矩阵 $A\in\mathbb{R}^{T\times T}$ 来捕获双曲特征相似度。这里，每个条目 $A_{ij}$ 可以计算为

\begin{aligned}A_{ij}&=f_{sim}(F_{H,i},F_{H,j})\\&=Softmax(\exp(-d_{L}(F_{H,i},F_{H,j})),\end{aligned}

（5）

其中， $f_{sim}$ 表示双曲特征相似性度量，它基于片段 $i$ 和 $j$ 的洛伦兹内有的距离 $d_L$ 来评估它们之间的相似程度。使用指数函数和Softmax函数保持非负性，并将 $A$ 的值限制在[0,1]范围内。

接下来，我们引入双曲洛伦兹线性(即 $f_{HL}()$ )，然后进行邻域双曲聚合操作[24]进行特征变换。第 $l$ 层的第 $i$ 段的这些变换后的双曲特征（即 $z_i^{l}$ ）可以表示为

z_i^l=F_{H,i}^l=\frac{\sum_{j=1}^TA_{ij}f_{HL}\left(F_{H,i}^{l-1}\right)}{\sqrt{-\eta}\left|\left\|\sum_{k=1}^TA_{ik}f_{HL}\left(F_{H,i}^{l-1}\right)\right\|_{\mathcal{L}}\right|},\quad(6)

式中，η为负曲率常数。

为了进一步增强这些转换后的特征，我们对它们进行了基于时空信息的处理。输入向量 $z [0]$ 的初始分量表示双曲空间[4]中的时间方面。该分量通过一个sigmoid激活函数进行处理，然后进行指数缩放和移位操作。通过这个过程，计算节点A和节点B的时间特征(即 $T_{nodeA}$ 和 $T_{nodeB}$ )为

\begin{aligned}T_{nodeA}&=\sigma(z_{nodeA}[0])\times e^{\gamma}+1.1\\T_{nodeB}&=\sigma(z_{nodeB}[0])\times e^{\gamma}+1.1\end{aligned}\quad(7)

式中， $\gamma$ 为可训练参数。输入向量 $z$ 的剩余元素可以认为是节点A和节点B(即 $S_{nodeA}$ 和 $S_{nodeB}$ )的空间特征[4]。在数学上，它们可以表示为

\begin{aligned}S_{nodeA}&=[z_{nodeA}[1],z_{nodeA}[2],...,z_{nodeA}[n]]\\S_{nodeB}&=[z_{nodeB}[1],z_{nodeB}[2],...,z_{nodeB}[n]]\end{aligned}\quad(8)

这些特征将复杂的空间特征封装在双曲空间中，这对于捕获图中的层次结构和关系至关重要。

为了确保空间组件与双曲模型的对齐，需要计算缩放因子 $\Upsilon$ 。这个因素考虑了每个节点的时间和空间复杂性。它确保空间组件被适当地缩放以适应双曲空间。

\begin{aligned}&\Upsilon_{nodeA} =\frac{{T_{nodeA}}^{2}-1}{\sum_{i=1}^{n}(S_{nodeA}[i])^{2}+\epsilon} \\&&\left(9\right) \\&\Upsilon_{nodeB} =\frac{{T_{nodeB}}^{2}-1}{\sum_{i=1}^{n}(S_{nodeB}[i])^{2}+\epsilon}\end{aligned}

将时间和缩放后的空间分量连接起来，得到增强的特征向量(即： $\hat{F}_{H}^{nodeA}$ 和 $\hat{F}_{H}^{nodeB}$ )。数学上，这个过程可以表示为

\begin{aligned}\hat{F}_{H}^{nodeA}&=Concat\Big[T_{nodeA},S_{nodeA}\times\sqrt{\Upsilon_{nodeA}}\Big]\\\hat{F}_{H}^{nodeB}&=Concat\Big[T_{nodeB},S_{nodeB}\times\sqrt{\Upsilon_{nodeB}}\Big]\end{aligned}\quad(10)

节点A分支中的增强特征映射通过Leaky-ReLU激活和softmax归一化操作来引入非线性并确保增强特征映射的标准化。这确保了在每个节点学习到表示正常和异常数据的不同模式。通过这样做，鼓励模型从其他节点(即节点B)处理的特征集中学习不同的特征集。最后，通过矩阵乘法处理节点A和节点B的增强特征映射以计算注意力，然后通过ReLU激活生成输出特征映射。提议的HLGAtt模块的结果可以表述为

F_H^{final}=f_{ReLU}(\hat{F}_H^{nodeA}\cdot\hat{F}_H^{nodeB}).\quad(11)

4、Hyperbolic Classifier & Learning Objective

在[21]之后，我们还使用双曲分类器，它将HLGAtt模块的输出作为输入，并预测正常和异常事件的置信度得分。最终得分得分可以表示为

Score=f_{Hyp-cls}(F_H^{final})\quad(12)

为了端到端训练所提出的模型，我们采用了[20,21,28,36]中采用的基于MIL的学习目标，该目标计算视频中前k−max预测分数的平均值。高分正预测表明异常事件的存在，而k-max负分数通常代表硬样本。这个学习目标函数可以表示为

\begin{aligned}L_{MIL}=\frac{1}{N}\sum_{i=1}^{N}-Y_{i}\cdot\log(\overline{Score}).\quad&(13)\end{aligned}

其中， $\overline{Score}$ 表示视频中k−max分数的平均值， $Y_i$ 表示二元视频级别标签。

L1783516140

关注

49
点赞
踩
34

收藏

觉得还不错? 一键收藏
0
评论
【视频异常检测】Cross-Modal Fusion and Attention Mechanism for Weakly Supervised Video Anomaly Detection

近年来，弱监督视频异常检测(WS-VAD)成为仅使用视频级标签识别视频中暴力、裸露等异常事件的当代研究方向。然而，这项任务面临着巨大的挑战，包括处理不平衡的模态信息和一致地区分正常和异常特征。在本文中，我们针对这些挑战，提出了一个多模态WS-VAD框架来准确检测暴力和裸露等异常。在提出的框架内，我们引入了一种新的融合机制，称为跨模态融合适配器(CFA)，它能够动态选择并增强与视觉模态高度相关的视听特征。
复制链接

扫一扫