视频信息检索和摘要：Hierarchical Video-Moment Retrieval and Step-Captioning

源码学习见专栏置顶～

论文作者：Abhay Zala,Jaemin Cho,Satwik Kottur,Xilun Chen,Barlas Oğuz,Yasher Mehdad,Mohit Bansal

论文链接：http://arxiv.org/abs/2303.16406v1

项目链接： https://hirest-cvpr2023.github.io

1）方向：视频信息检索和摘要 

2）应用：教育视频的检索和摘要 

3）背景：以往的研究通常独立地研究文本检索、时刻检索、视频摘要和视频字幕等相关任务，缺乏一个端到端的设置，可以联合从视频库中搜索和生成摘要。本文提出了HiREST数据集和基准，旨在从教育视频库中检索和生成分层信息，并提供了视频检索、时刻检索、时刻分割和步骤字幕生成等任务。 

4）方法：HiREST数据集包含来自教育视频数据集的3.4K个文本-视频对，其中1.1K个视频具有与文本查询相关的时刻跨度标注，并将每个时刻分解为具有字幕和时间戳的关键指令步骤（共8.6K个步骤字幕）。基准包括视频检索、时刻检索、时刻分割和步骤字幕生成等任务。在时刻分割中，模型将视频时刻分解为指令步骤，并确定开始-结束边界。在步骤字幕生成中，模型为每个步骤生成文本摘要。作者还提出了基于任务和端到端的基线模型。 

5）结果：基线模型表现出一定的良好结果，但仍有很大的改进空间。 HiREST数据集和基准可用于教育视频检索和摘要的研究。