淘宝短视频多模态融合识别

淘宝视频是如何分类的？又是如何保持不同类别视频样本得到相对均衡？又是如何应用的？

前言介绍

▐  背景

在推荐系统中，分类体系在内容圈选、招稿以及投放的过程中都发挥着重要的作用。产品运营可以借助分类体系来圈选内容，例如统计不同领域的视频的供给和用户行为等，对于内容供给不足但比较重要的类目，可以定向招稿。

在投放环节，分类体系可以帮助系统更好的聚焦于用户感兴趣的大行业方向。

例如某个用户比较感兴趣的是美食、3C数码、美妆这几个领域，如果我们的分类体系构建的足够细，那么我们可以进一步知道他在3C领域对手机、耳机更感兴趣，而对电脑、相机没有太多兴趣，从而召回用户感兴趣的内容。

▐  淘宝视频分类的难度

• 内容分类与商品类目的区别

怎么挑西瓜是“美食_食材选择”，怎么吃西瓜是“美食_水果”，演示吃西瓜是“美食_吃播”，对比不同种类的西瓜是“美食测评”，拥有相同商品的视频有可能表示了不同的类型。

教如何做西瓜拼盘的视频是“美食_教程”，但挂的商品可能是西瓜刀，所以挂商品类目可能和视频类目差异较大。

所以商品类目是无法和视频分类词一一对应起来的，但是能作为一个辅助信息帮助我们进行判断。

例如下面这个视频，是一个 “美食_烘焙”的视频，视频的商品是烘焙用具，所以商品的类目是“家居日用_厨具”，和视频类目不一致。

美食_烘焙

商品（家居日用_厨具）

• 多模态分类VS文本分类

淘系视频很多title和summary是无意义的，例如很多title、summary是“xxx.mp4”、“北京时间xxx”，或者是比较抽象的描述，例如“很多女生都在用”。

单纯用这些文本很难进行视频分类。

我们统计了训练集和验证集上有意义文本的占比，发现无意义的文本占到了7-10%的比例。

模型上的效果也验证了多模态分类的必要性。

而且仅仅通过文本进行判断还可能出现较大的偏差，例如下面这个视频：

title：小米手环四，开箱初体验。

summary：我们拿出手环来测试，功能多，有测心率测步数，滑动很流畅不卡顿。

从视频的title、summary来看这是一个“开箱测评”类型的视频，但其实这是一个“推荐”视频。

视频内容分类需要对视频内容有完整的理解。

例如下面两个视频，类似的画面，但由于第二个视频有“烘焙”的过程，所以是“美食_烘焙”。

这些细节都需要从视频画面中提取，而不仅仅是商品信息或者文本就能解决的。

美食_零食小吃（没有烘焙过程）

美食_烘焙（有烘焙过程）

短视频分类体系定义

▐  构建规则

为了能够更好的对用户兴趣领域进行划分，我们希望能构建出粒度较细的分类体系，在新版分类中，我们最终构建出3000+个叶子类目。

分类体系的构建建立在以下几个原则的基础上：

1. 分类间互斥：分类词之间没有重叠。但是在实际中，不可避免存在一些重叠，例如 美食里的 “烘焙”和“零食小吃”，用“烘焙”的方式做出来售卖的零食，放在两个类目中都有一定的道理。

2. 从视觉上可分：从视频画面上可以进行划分。这是在视频内容理解技术和业务需求之间做的一个平衡。很多淘宝视频附带的title、summary有可能是无意义的文本（例如很多title是xxx.mp4）、或者是比较抽象的文本（例如“女神都在用的宝贝”），在缺乏足够的文本辅助信息的情况下，我们需要保证从视频画面上就能进行区分。

训练数据制备

视频分类的语义层次较高，部分类目的范围定义也比较复杂，我们选择用监督学习的方式构建模型。

由外包的同学按照视频内容分领域对淘宝PGC视频进行标注，25个领域总标注了28万的样本。

▐  采样

空间密度采样可以用较少的样本覆盖尽可能多的空间范围，使用同样数量的训练样本和相同的模型，空间密度采样能比随机采样提供更好的泛化能力。

▐  样本不均衡

从淘宝视频中随机/空间密度采样挑选样本作为训练集容易造成各个类目上分布很不均衡的情况。例如服饰、母婴、3C是大的领域，而旅游、美甲是小领域，小领域上的分类词很可能会有样本数量不足的情况。为了减少样本不均衡对分类结果的影响：

• 一方面我们利用商品类目和分类词之间的相关性，对少样本类目进行扩展；

• 另一方面我们在训练的时候进行resample：

在训练时，模型会接收到两种分布的输入，分别是正常分布和重采样分布。通过同样的特征提取模型后，输出为两个向量。

随后模型会进行MIXED的做法，将两个向量融合，再计算loss来优化模型。随着训练的持续，模型的重心会逐渐从正常分支转移到重采样分支。