2019爱奇艺多模态视频人物识别挑战赛复盘

1 前言

我们团队在2019 iQIYI Celebrity Video Identification Challenge 中取得了第5名的成绩，在这里主要和大家介绍一下我们的心路历程和使用技巧。我们的解决方案比较简单，但还是希望能给大家一些借鉴意义。

2 方案介绍

大赛任务我们这里就不过多介绍了，相信看这篇文章的各位也比较理解，简单来讲就是识别某段视频的身份，大赛最终基于mAP来度量成绩的高低。

2.1 数据集理解

大赛给了两种数据：视频数据和特征数据。视频数据包含了100k~200k的视频片段、约200小时。特征数据分为4种：Face特征、Head特征、Body特征、Audio特征。

我们认为原始视频数据量巨大，而特征数据质量较高，重新提取特征能不能达到官方原始特征的水平还有待商榷，于是战略性地放弃了特征重提，所有的实验都是基于原始特征来做的。Face、Head、Body、Audio我们认为是不同模态的数据，其中：

1. Face特征：是最重要的、质量最高的特征，对结果起着决定性的作用，据我们所知。很多团队在这次比赛中只用了Face的特征，也能达到很高（比我们高）的结果。
2. Head特征：包含了发型、配饰等头部特征。
3. Body： 包含了姿态、服饰等身体特征。
4. Audio：声闻信息，包含了背景音噪音等等。

这些特征里我们先从Face特征入手，后面为了提升点数，也加入了其他模态的特征。

2.2数据处理

我们要搞到给定视频的特征表示，用来表征这个视频的身份信息。就官方给的各个特征而言，我们做了如下的处理：

1. Face特征，$n$