摘要
Simple character-level transformations are applied to the highest- ranked words in order to minimize the edit distance of the perturbation.
对排名最高的词进行简单的字符级变换,最小化对抗样本与原样本的编辑距离
算法
一、Token评分并排序()
1) Temporal Score (TS)
F()为分类器
输入序列 x = x1x2...xn
temporal score (TS):TS(xi)= F(x1,x2, ..., xi−1,xi) −F(x1,x2, ..., xi−1)
Temporal Tail Score(TTS):TTS(xi)= F(xi,xi+1,xi+2, ..., xn)−F(xi+1,xi+2, ..., xn)
Combined Score = TS + λ(TTS)
二、Token转换(Token Transformer)
单词是符号的,基于学习的分类程序NLP通过字典处理单词,以表示有限的可能单词集,然而典型的NLP字典的大小比相似长度的可能字符组合要小得多。这意味着,如果我们故意在重要的单词上创建拼写错误的单词,我们可以很容易地将这些重要的单词转换为“未知”(即不在词典中的单词)
我们提出了四种类似的方法:
(1)用随机字母替换单词中的一个字母
(2)从单词中删除一个随机字母
(3)在单词中插入一个随机字母
(4)交换单词中两个相邻的字母。
替换、删除和插入操作的编辑距离为1,交换操作的编辑距离为2。
算法图
实验结果