NLPCC 2023 Shared Task 5：中文医疗教学视频问答任务

背景介绍

近年来，人们能够轻松的访问互联网上的教学视频，这成为了一种趋势并彻底改变了以往的获取信息或传递知识的方式[1]-[2]。许多人意识到在他们完成某项任务之前通过观看教学视频是一种更高效的方式，因为他们能通过视频中一系列循序渐进的步骤来学习如何完成特定任务[3]-[4]。为此，我们提出了基于中文医疗教学视频时刻答案定位(TAGV) 的新任务，这项任务的目的是找到与输入问题对应的视频帧跨度。该任务的视频来自YouTube 网站上高质量的中文医学教学频道，其中医学问题对应的视频答案片段时间戳由医学专家标注。本次NLPCC2023 Shared Task5 任务的最终目的是开发一个可以为医疗急救或医学教育提供视频时刻问答功能的系统。

任务综述

本次NLPCC 2023 Shared Task 5任务共包括三个赛道：单个视频中视频问答定位（Temporal Answer Grounding in Singe Video, TAGSV），视频数据库检索（Video Corpus Retrieval, VCR）和视频数据库中时序问答定位（Temporal Answer Grounding in Video Corpus, TAGVC）。

▲ 图1. 单个视频问答定位任务的示意图

➢ 赛道1. 单个视频问答定位 (TAGSV)：如图1所示：给定一个医学或健康相关的问题和一个未修剪的中文医疗教学视频，该赛道旨在视频中找到视频答案所在的时间戳。例如，图中0:54s~1:25s 是给定中文问题“如何利用工具缓解头部前倾的问题”的视频答案时间戳。

▲ 图2. 视频数据库检索任务的示意图

➢ 赛道2. 视频数据库检索 (VCR)：如图2所示：给定一个医学或健康相关的问题和大量未经剪辑的中文医学教学视频，该赛道旨在从给定视频数据库中找到与给定问题最相关的视频。例如，图中第一个视频是与中文问题“如何利用工具缓解头部前倾的问题”最相关的目标检索视频。

▲ 图3. 视频数据库时序问答定位任务的示意图

➢ 赛道3. 视频数据库的时序问答定位(TAGVC)：如图3所示：给定一个医学或健康相关的问题和大量未经剪辑的中文医学教学视频，该赛道旨在从给定视频数据库中与找到与给定问题最匹配的视频答案时间戳。例如，图中0:54s~1:25s 是给定中文问题“如何利用工具缓解头部前倾的问题”下该视频数据库中最匹配的视频答案时间戳。

数据集简介

▲ 图4. CMIVQA比赛的数据集示例

本次比赛的视频是从YouTube网站的中文医学教学频道中爬取的，其中的字幕（中文）是从相应的视频中自动转录出来的。问题和相应的视频答案时间戳是由具有医学背景的专家进行标注而得到的。每个视频可能包含多个问答对，其中每个问题对应一个唯一的答案。数据集分为训练集、验证集和测试集，训练集共包含1,228个视频，包含2,937个视频问答对，供参赛选手进行模型训练。 

图4展示了 CMIVQA 竞赛数据集的示例。其中，“id”是用于视频检索赛道的样本编号。“video_id”是指来自 YouTube 的唯一 ID。“问题”项由医学专家手写。“开始和结束秒”代表相应视频答案的时间戳。比赛期间分为A、B榜单进行测试，每周更新榜单数据，最后以B榜的结果作为获奖参评依据。测试集中赛道2与赛道3的真实 “id”数据编号在发布时不对外公开。总而言之，我们的最终目标是从测试语料库中检索目标视频 ID，然后定位视觉答案。更多数据集细节与基准线方法请访问：

比赛官网：

https://cmivqa.github.io/

比赛Github：

https://github.com/cmivqa/NLPCC-2023-Shared-Task-5

评价指标

赛道1

单个视频问答定位任务

我们使用如下所示的度量计算公式来评估结果。具体来说，我们使用 (1) 交并比（Intersection over Union， IoU），和 (2) 平均交并比 mIoU，mIoU数值为所有测试样本的平均 IoU。参考研究工作[3]-[5]后，我们采用“R@n，IoU = μ”和“mIoU”作为评估指标，将视频答案帧的时间戳定位视为跨度预测任务。“R@n, IoU = μ”表示预测时间答案跨度与真实跨度的交并比 (IoU)，其中重叠部分在前 n 个检索时刻中大于“μ”。“mIoU”是样本的平均 IoU。在我们的实验中，我们使用 n = 1 和 μ ∈ {0.3, 0.5, 0.7} 来评估 TAGSV 结果。

其中 和 代表不同的跨度，分别代表 。

注：该赛道的主要排名是基于 分数，我们同时也提供了该赛道的其他指标以供进一步分析。

赛道2

视频数据库检索

继开创性的工作 之后，我们采用了像 “R@n” 这样的视频检索指标。具体来说，我们采用 n=1、10 和 50 来表示视频检索的召回性能。同时，采用平均倒数排序 (MRR) 得分这项指标评价中文医疗教学视频语料库检索性能，计算方法如下。

其中 是视频数据库大小数目。对于每个测试样本 ，排名 表示真实视频标签在预测列表中的位置。

注：该赛道的主要排名是基于Overall分数。Overall分数是将 and MRR scores 进行相加，计算如下。

其中 是相加的个数。Value 是第 个指标的得分（包括 , 和 MRR），。

赛道3

视频数据库时序问答定位

我们保留与赛道1相似的 交并比 (IoU) 指标和与Track 2检索指标“R@n, ”和MRR，用于赛道3结果的进一步分析。我们仍然使用像 , IoU 这样的指标，同时，我们将 、 10、50 进行评估。值得注意的是，视频检索子任务中的平均IoU指标，即“R@1/10/50|mIOU”，也用于衡量参与模型的性能表现。

注：该赛道的主要排名是基于 Average 分数。Average 分数是将 , 进行平均，计算如下。

其中 评价指标个数。Value 第 个指标（例如：, ），。

重要的日期

提交截止日期为晚上 11:59。规定的截止日期 (UTC/GMT+08:00)。

赛程

1

比赛任务公告及参与报名：

2023年3月15日

2

发布任务指南和训练数据：

2023年4月3日

3

测试A数据发布：

2023年4月10日

4

比赛报名截止：

2023年5月28日（同测试B数据结果提交时间）

5

测试B数据发布：

2023年5月21日

6

测试B数据结果提交：

2023年5月28日

7

比赛结果发布并征集系统报告和会议论文：

2023年6月10日

8

会议论文提交截止日期（仅适用于比赛任务）：

2023年6月30日

9

会议论文接受/拒绝通知：

2023年7月18日

10

论文提交截止日期：

2023年8月1日

举办单位信息

主办方：

CCF自然语言处理与中文计算国际会议

承办方：

湖南大学

视觉感知与人工智能湖南省重点实验室

协办方：

赛灵药业科技集团股份有限公司

协办方介绍

赛灵药业科技集团股份有限公司是一家集药品研发、生产、销售为一体，获“高新技术企业”认证的综合性医药企业。公司以“仁爱心，赛灵药”为企业宗旨，专注于构建骨健康生态体系，打造骨健康领域领先品牌，为广大医患提供更具临床价值的新产品和新技术。

赛灵药业积极践行“成为人人信赖的骨健康专家“企业愿景，探索科普教育、基层医疗教育新模式，助力人工智能更好的服务大众，为健康中国贡献赛灵力量！

赛事联系方式

更多赛事信息及报名方式，请关注“中文医疗教学视频问答任务”官方网站。

官网：

https://cmivqa.github.io/

官网Github：

https://github.com/cmivqa/NLPCC-2023-Shared-Task-5 

Baseline网址： 

https://github.com/WENGSYX/CMIVQA_Baseline

官方微信群：

失效请关注官网Github的群链接

联系人：

参考文献

[1] Li, Bin, et al. “Towards visual-prompt temporal answering grounding in medical instructional video.” arXiv preprint arXiv:2203.06667 (2022).

[2] Weng, Yixuan, and Bin Li. “Visual Answer Localization with Cross-modal Mutual Knowledge Transfer.” arXiv preprint arXiv:2210.14823. (Accepted in ICASSP 2023).

[3] Deepak Gupta, Kush Attal, and Dina Demner-Fushman. “A Dataset for Medical Instructional Video Classification and Question Answering.” arXiv preprint arXiv:2201.12888, 2022.

[4] Deepak Gupta, and Dina Demner-Fushman. “Overview of the MedVidQA 2022 Shared Task on Medical Video Question-Answering. ” BioNLP 2022@ ACL 2022 (2022): 264.

[5] Zhang, Hao, et al. “Natural language video localization: A revisit in span-based question answering framework.” IEEE transactions on pattern analysis and machine intelligence 44.8 (2021): 4252-4266.

[6] Li, Bin, et al. "Learning to Locate Visual Answer in Video Corpus Using Question." arXiv preprint arXiv:2210.05423. (Accepted in ICASSP 2023).

#投 稿 通 道#

 让你的文字被更多人看到 

如何才能让更多的优质内容以更短路径到达读者群体，缩短读者寻找优质内容的成本呢？答案就是：你不认识的人。

总有一些你不认识的人，知道你想知道的东西。PaperWeekly 或许可以成为一座桥梁，促使不同背景、不同方向的学者和学术灵感相互碰撞，迸发出更多的可能性。 

PaperWeekly 鼓励高校实验室或个人，在我们的平台上分享各类优质内容，可以是最新论文解读，也可以是学术热点剖析、科研心得或竞赛经验讲解等。我们的目的只有一个，让知识真正流动起来。

📝 稿件基本要求：

• 文章确系个人原创作品，未曾在公开渠道发表，如为其他平台已发表或待发表的文章，请明确标注 

• 稿件建议以 markdown 格式撰写，文中配图以附件形式发送，要求图片清晰，无版权问题

• PaperWeekly 尊重原作者署名权，并将为每篇被采纳的原创首发稿件，提供业内具有竞争力稿酬，具体依据文章阅读量和文章质量阶梯制结算

📬 投稿通道：

• 投稿邮箱：hr@paperweekly.site 

• 来稿请备注即时联系方式（微信），以便我们在稿件选用的第一时间联系作者

• 您也可以直接添加小编微信（pwbot02）快速投稿，备注：姓名-投稿

△长按添加PaperWeekly小编

🔍

现在，在「知乎」也能找到我们了

进入知乎首页搜索「PaperWeekly」

点击「关注」订阅我们的专栏吧

·

·