GambleHasGrag的博客

原创 NLP backbone常用的噪声训练方法

NLP backbone常用的噪声训练方法。Token Masking(token掩码)、Token Deletion(token删除)、Text Infilling(文本填充)、Sentence Permutation(语句排序)、Document Rotation(文档旋转)。方式一和二的区别在于，前者的文本填充方式能够迫使模型去学习跨度中缺少的token数量。输入“A _.D _ E .”，确定目标生成的位置，预测为“A B C . D E .”。（与token掩码方法有近似之处，但粒度不同）