多标签中长尾问题/训练数据不足的问题

长尾问题算法和数据两个方案：大量标签（超过100个，1000个那种）的项目中会出现。

数据上：直接把长尾标签对应的样本提升上去。
算法角度上：尽可能的利用本身现有信息。可以利用层级信息辅助多标签的预测。或者利用标签之间的语义关系这些信息，去预测标签。

训练数据不足：

（1）数据增强的手段：

• 图片：翻转，滤波器。

• 文本：
  – 常规增强：随意删除某一字，调整字的顺序，同义词替换，随机替换（增强它的鲁棒性）。
  – 生成的算法：比如和GBT模型做些文本生成任务。

（2）可以先引入预训练模型，或者自己先预训练模型。

（3）其实上述做法提升是有限的，但是每次做的是一个业务，其实真正提升的还是对业务理解，从而补充的数据。包括数据补充也可以和其他BU进行沟通，看看可否更多的补充进去数据。

关于预训练的一些疑问的点：
bert用的无监督文本。数据是无监督的，但是通过无监督的数据构造有监督的任务。就是mask的任务，相当于预测mask。比如有2000多个词表，就变成一个2000多类的一个多分类的任务。