最近逛了一下某乎,看到有篇讲文本数据增强的扯了一堆文本攻击的方法,这里还是想吐槽一下,这两个完全不是一个东西
攻击样本和增强样本完全不一样,前者更加偏向于揭露,后者偏向于弥补;攻击样本抓住了模型弱点,让模型混乱,但用它retrain可能并不会让模型性能有很高提升;增强样本抓住了模型的薄弱,弥补模型未曾“看到过的”数据,但并不一定具有攻击性。 究其根源,两者训练的时候目的不同,其功效的侧重自然也不同,只不过两者有一部分交集而已。
至于为什么现在有很多人会想着用攻击样本加到模型来提升效果(比方说在天池等各大竞赛里面,很多人会用这种trick来刷点),就是因为攻击样本挖掘的模型漏洞是比较“深”的,所以少量的攻击样本喂给模型能够起到类似正则惩罚的效果,这样的方法比较简便、成效高