从数据集视角看视频理解的发展与局限

视频理解是计算机视觉领域的一个重要研究方向，让计算机能够像人类一样理解视频中的内容和语义。视频理解涵盖多个关键任务、技术方法与应用领域。任务层面，包括在视频帧中检测并识别行人、车辆等各类物体，确定其位置与类别的目标检测与识别；分析人物或物体动作，判断跑步、跳跃等行为模式的动作识别；对视频整体场景进行分类，区分室内外、城市街道等场景类型的场景分类；理解视频事件主体、动作、对象及其关系的事件理解；以及根据视频内容自动生成自然语言描述的视频内容描述生成。技术方法上，有利用卷积神经网络（CNN）提取视频帧视觉特征、借助循环神经网络（RNN）或长短时记忆网络（LSTM）处理时序信息，像3D卷积神经网络（3D - CNN）提取时空特征的深度学习方法，也有光流法计算物体运动信息、特征点检测与匹配跟踪物体、基于手工设计特征进行识别分类的传统计算机视觉方法。在应用领域，视频理解可实现安防监控中的异常行为检测、目标跟踪与身份识别，及时发现闯入禁区等可疑行为；助力自动驾驶中车辆对周围环境、交通标志等的识别与行为预测；辅助医疗影像分析，自动分析X光、超声视频等医学影像，为疾病诊断提供参考；还能用于视频网站和流媒体平台的内容分析与推荐，依据用户观看历史和视频理解结果，精准推荐感兴趣的视频 。

一、数据集的作用

应用于视频理解的数据集在推动视频理解技术发展方面发挥着至关重要的作用：
1.模型训练
为视频理解模型提供大量的视频数据和相应的标注信息，使模型能够学习到不同场景、动作、物体等特征，从而进行有效的特征提取和模式识别。例如，Kinetics - 400数据集包含了400个不同类别的大量视频，模型通过对这些视频的学习，可以识别各种常见的人类动作。
2.评估模型性能
作为评估视频理解模型性能的基准。在训练好模型后，使用这些数据集进行测试，通过计算准确率、召回率、F1值等指标，准确衡量模型在目标检测、动作识别、场景分类等任务上的表现，帮助研究人员了解模型的优点和不足，以便进行改进和优化。
3.促进算法比较与改进
研究人员可以在相同的数据集上比较不同视频理解算法和模型的性能，从而发现哪种方法更有效，推动视频理解技术不断改进和创新。例如，不同的团队在ActivityNet数据集上对自己的动作识别模型进行测试和比较，促使大家不断优化模型结构和算法，提高动作识别的准确率。

二、典型数据集

1.Kinetics - 400
涵盖的视频类别：包含400个人类动作类，涵盖演奏乐器等人与物体的交互，以及握手等人与人的交互等，以人类为中心的各种动作。
视频数量：包含234,619个训练集视频和19,761个验证集视频。
标注的详细程度：每个动作至少有400个视频剪辑，每个剪辑持续约10秒，有对应的标记信息，标注了视频所属的动作类别。
在推动视频理解模型发展中的作用：作为大规模、高质量的数据集，为视频理解模型提供了丰富的人类动作样本，有助于模型学习不同动作的特征和模式，提高对人类行为的识别和理解能力，推动了动作识别等相关视频理解技术的发展。
2.ActivityNet
涵盖的视频类别：涵盖了各种日常活动、运动、对话等场景，共200个动作类别。
视频数量：版本1.3包括20,000个Youtube视频，训练集包含约10,000个视频，验证集和测试集各包含约5,000个视频。
标注的详细程度：共计约700小时的视频，平均每个视频上有1.5个动作案例，在视频动作分析方面标注较为细致，适用于多种视频理解任务。
在推动视频理解模型发展中的作用：是视频动作分析方向最大的数据集，为视频行为理解的新算法和新技术的发展提供了数据支持，促进了模型在未修剪视频序列时序动作提名、时序动作定位等任务上的研究和发展。
3.Charades
涵盖的视频类别：包含9,848个日常室内活动视频，涉及157个动作类别，如烹饪、清洁等，涵盖与46个物体类别在15种室内场景中的交互。
视频数量：9,848个视频。
标注的详细程度：每个视频由多个自由文本描述、动作标签、动作间隔和交互对象类别进行标注，包含66,500个时间标注、41,104个物体类别标签和27,847个文本描述。
在推动视频理解模型发展中的作用：数据场景真实，聚焦日常家庭活动，包含复杂交互与遮挡情况，为模型提供了丰富的日常活动场景样本，有助于模型学习在复杂环境下对各种动作和交互的理解，推动了第一人称视角动作识别模型以及多视角动作检测、跨模态特征学习等任务的发展。

三、数据集存在的局限性

1.数据分布不均衡对模型泛化能力的影响
小众或特殊类别视频稀缺：一些小众或特殊类别的视频在数据集中占比极少，导致模型在这些类别上的训练数据不足。例如在一些以人类行为为主的数据集中，罕见的专业技能动作或特定文化背景下的独特行为可能很少出现。
模型泛化能力受限：模型在训练过程中会更多地学习到常见类别的特征，而对小众或特殊类别的特征学习不足。当遇到包含这些小众或特殊类别场景的实际应用时，模型可能无法准确识别或理解，降低了模型的泛化能力。
2.标注的准确性和一致性问题制约视频理解技术的进一步提升
标注主观性：标注过程往往依赖人工，不同标注者可能对视频内容有不同的理解和判断标准，导致标注存在主观性。例如，对于一些模糊的动作或场景，不同标注者可能给出不同的标注结果。
标注不一致性：即使有标注指南，也难以完全保证所有标注者在所有情况下都能严格按照指南进行标注，可能会出现标注不一致的情况。这会使模型在学习过程中接收到矛盾的信息，影响模型对视频内容的准确理解和特征提取。
标注错误：人工标注不可避免地会出现一些错误，例如标注遗漏、标注错误的类别等。这些错误会误导模型的学习，尤其是在大规模数据集中，少量的标注错误可能会对模型的性能产生一定的影响，制约视频理解技术的进一步提升。