小样本学习在滴滴治理和安全场景应用

桔妹导读：滴滴作为一家网约车交易平台，乘客和司机的体验和安全是其核心壁垒之一。在体验和安全优化过程中，缺少准确而大量的标注样本，是制约模型效果、进而影响业务优化的重要技术难题。在滴滴，我们使用few shot的方法，在治理和安全场景做了大量的探索，形成了一套系统的解决方案。

1. 

相关工作

▍1.1 基本理论

小样本学习技术主要研究如何利用少量有监督样本来解决机器学习任务。经常被提起的还有半监督学习，其主要区别在于，半监督学习是解决小样本学习问题的重要手段之一。

小样本学习的综述很多，其中YAQING WANG等人【1】分类标准清晰且合理，故引用此种分类方式。其将小样本学习技术分为三类方式：

• 数据：利用先验知识来做数据增强，构造更多样本。

• 模型：利用先验知识来降低机器学习任务的假设空间，模型参数搜索空间减小，所需样本也相对减少；

• 算法：利用先验知识，改善参数搜索策略。

 

上述的三种方法，核心就是要解决样本少而模型假设空间大的矛盾，尤其在深度学习场景，模型的参数量巨大。在实际运用中，几种方法可同时使用。下面简要介绍三类方法中的一些常用的技术。

▍1.2 数据增强

数据增强是小样本学习场景最常用的方式之一，其复杂度也相对较低，这里分享下两种方案，包括样本特征增强和弱监督学习。对于样本特征增强，经典案例包括图像识别领域对图像进行翻转、旋转和缩放等；文本增强领域也有类似的方法，如文本分类场景，会对样本进行同义替换、随机插入和随机交换和随机删除等，使用原来训练数据的50%结合文本增强的方法就到达了使用100%训练数据的准确率【2】。这种手动进行样本特征增强的方式，其优点在于构思简单，效果稳定，但其依赖于领域知识进行增强规则设计，且无法穷举所有的可能性，其效果上限较低。

另外一种常用的样本增强方式是，弱监督学习，主要包括半监督学习和主动学习。半监督学习主要解决如何利用少量有标签样本以及大量无标签样本构建模型的问题，常见方法有自学习、协同训练和生成式学习等，篇幅受限，主要讲下常用的自学习，其基本原理是如下图所示：

1）首先利用少量的有监督样本，训练一个初始模型

2）利用初始模型对未打标的样本进行预测，如果模型得分比较低或者高，将其加入初始的训练集，其标签为模型预测标签

3）利用新的训练集，进行模型迭代，重复以上流程，直至模型效果无提升

图 1 自学习建模流程

主动学习的核心技术点在于在标注资源有限的情况下，如何选择信息含量高的样本进行标注。但通过自学习引入样本的过程，也会有弊端，第一是无法避免引入噪音，因为模型预测的标是”伪标签“，第二，往训练集中加入的样本均为易分类的样本，导致真正难分类的样本的权重相对下降，继而出现测试集上效果较差的情况。因而，自学习会出现增加几轮样本后，效果不增反而下降的情况，所以选择合适的迭代轮次和每次加入的样本量尤为重要。

▍1.3 模型</