shuju_-CSDN博客

原创 Do You Remember? Dense Video Captioning with Cross-Modal Memory Retrieval（24CVPR）

提出一种新的密集视频描述框架CM2，模型能够从外部记忆中回忆相关事件，从而提高描述生成的质量。外部记忆基于从训练数据中提取的先验知识构建。模型从未剪辑视频中提取潜在的事件候选，并从外部记忆中检索相关信息，提供多样化的语义信息。模型引入了一个多功能的编码器-解码器结构，通过将这些检索到的记忆融入视觉特征，使用视觉和文本跨注意力机制来帮助模型学习任务之间的交互。

2024-09-28 22:02:46 597

原创 Vid2Seq: Large-Scale Pretraining of a Visual Language Model for Dense Video Captioning（23CVPR）

提出两个难点，两阶段模型缺乏定位任务和描述任务之间的交互，单阶段模型需要引入特定于任务的组件，比如事件计数器。无论单阶段还是双阶段模型当前只在有限大小的人工标注数据集上进行训练，由于人工标注密集视频描述的数据集代价高昂且难以大规模扩展，现有数据集规模较小，无法支持模型充分学习如何处理复杂的多事件描述任务。

2024-09-28 15:13:19 489

原创 End-to-End Dense Video Captioning with Parallel Decoding

由于单句描述不足以描述长视频，密集视频描述应运而生，之前的工作是先定位后描述，首先预测一组具有边界的event proposals，利用前后propsals的视觉信息一起生成描述。该方法存在以下两个问题：生成描述被视为下游任务，导致高度依赖生成proposal的质量；之前的proposal模块性能取决于仔细的锚点设计处理和proposal选择后处理（例如非极大值抑制）。并且这些手工设计的组件引入额外的超参数，超参数高度依赖于手动阈值策略，阻碍了端到端caption生成的进展。

2024-09-25 23:38:43 579

原创 Social lstm: Human trajectory prediction in crowded spaces

传统的轨迹预测方法，如“社交力模型”（Social Force Model），使用手工设计的规则来模拟人之间的互动行为，但这些方法有两个主要问题：手工设计规则的局限性，这些方法需要对具体场景进行特殊的建模，难以泛化到复杂的场景；只能考虑邻近的互动，传统方法只能处理近距离的行人之间的即时互动，无法预测未来可能发生的远距离互动。受到LSTM在不同序列预测任务（比如手写和语音生成）中取得成功的启发，提出该架构，引入一个"社交"池化层，主要是允许空间邻近序列的LSTM共享其隐藏状态。

2024-09-06 20:40:57 181

原创 DAPs: Deep Action Proposals for Action Understanding

定位模块根据序列编码器的最后一个隐藏状态，预测k个action proposals的时间位置，proposal的时间段可以是不同长度，通过一次扫描完成，这种方法使得我们的模型能够在一次视频扫描中输出不同长度的片段，而不是传统的通过多个窗口尺寸进行重叠扫描；k个锚定片段是通过对数据的标注统计得到的，加速优化过程，解决分配问题，在学习阶段，DAPs网络将视频流v（长度为T帧）映射到K个片段及其各自的动作置信度上，目标是学习一个适当的函数f，使得：1）模型生成的片段与动作的位置匹配；

2024-09-05 23:50:41 145

原创 Dense-Captioning Events in Videos

大规模活动数据集的发展，推动将视频分类成一组离散的动作类别，可以输出动作标签。但是由于缺乏细节，后续工作探索使用句子来解释视频语义。虽然信息增加，但无法识别视频中的所有其他事件，比较单一。因此提出DVC，用于定位并描述视频中的所有事件。

2024-09-05 21:52:42 780

shuju_的博客