1.题目
A Survey on Recent Approaches for Natural Language Processing in Low-Resource Scenarios
萨尔大学
2.摘要
(1)给出了当前致力于低资料NLP的广泛性与结构性概述;
(2)分析低资源设置的不同方面;
(3) 突出介绍必要的资源和数据假设,作为对从业者的指导;
(4) 讨论开放问题与未来的展望。
低资源的总体:
3.相关综述
生成额外标签数据
- Data Augmentation–
使用有标注的样本信息,去扩展更多的样本信息; - Distant & Weak Supervision – 远程监督
用一些策略去标签样本信息;它包括后面三种方法(跨语言标注) - Cross-Lingual Annotation Projections
- Learning with Noisy Labels – 噪音标注学习(包括Non-Expert Support)
- Non-Expert Support
Transfer Learning
- Pre-Trained Language Representations
- Domain-Specific Pre-Training
- Multilingual Language Models
来自非NLP领域的启发 - Meta-Learning
- Adversarial discriminators
4. 文本数据增强
token层:通过用等价词替换单词来实现;
synonyms(同义词),entities of the same type(相同类型的实体),words that share the same morphology(具有相同形态的单词);
sentence parts方法
manipulation of parts of the dependency tree(操作依赖树的部分),
simplification of sentences by removal of sentence parts(通过删除句子部分来简化句子),inversion of the subject-object relation(主体-对象关系的反转)
whole sentences方法
back-translation(回译)—应用于abstract summarization, table-to-text generation,分类
5. 远程监督
略
6. 跨语言标注
使用高资源语料训练分类器,使用并行语料库,然后将未标记的低资源数据与高资源语言中的等价数据对齐,其中可以使用上述分类器获得标签。
7. noise标注
由机器自动去生成标注,都会存在或多或少的noise的,这个就涉及到noise学习。
总结为两类:noise filtering and noise modeling。
噪声过滤方法从训练数据中删除具有高概率被错误标记的实例。通过概念的阈值,二分类, reinforcement-based agent;还有软件过滤。
噪声建模,常见的模型是估计干净标签和有噪声标签之间关系的混淆矩阵。
分类器不直接在有噪声标记的数据上进行训练。而是附加一个噪声模型,将“噪声”转移到“清洁标签”分布。
迁移学习(这个可以研究NLP的预训练那一块内容)
略
总结:低资源大部分情况下是解决资源的相关问题,这里提到数据的扩展与迁移学习两种。这篇与论文阅读笔记08Generalizing from a Few Examples:A Survey on Few-Shot Learning,研究的出发点相同,都是想在人力少的情况下去完成一些事情。
这里没有太多看到与知识图谱,监督,主动学习等内容。按道理这些内容也是解决低资源的方案或模型来的。
接下来,可以研究一下Noise学习,这个在工程也是一个有好的东西。即使是人为去标准的样本也会有很多噪音,特别在某个专业领域,例如医学。
参考:
https://arxiv.org/pdf/2010.12309.pdf