m0_55993535的博客

原创 Positive Sample Propagation along the Audio-Visual Event Line（2021CVPR）

一、重要概念 1、AVE（Audio-Visual Event）视听事件 视觉和音频信号通常在自然环境中共存，形成视听事件。通常指在视频片段中既可听到又可看到事件，即，声源出现在图像中（可见），而声源也存在于音频部分（可听见）。如下图所示。 2、AVC（Audio-visual correspondence）视听通信 视听通信的模型通常是用来判断视频和音频的信号是否描述同一个对象，例如：狗汪汪、猫喵喵。这是一个自我监督问题，因为视觉图像通常伴随着相应的声音。现有的方法试图通过测量视听相似性来评估对应