BPE方法可以认为是对一个1到n的ngram分词方式使用剪枝法(将有先后依赖,且词频重合度较高的词合并)
比如,输入的句子中,abc:50,abcd:49,那么就可以在49/50>Threshold时,直接删除abc这个词。这就是剪枝。可以用来减少词集合
BPE方法可以认为是对一个1到n的ngram分词方式使用剪枝法(将有先后依赖,且词频重合度较高的词合并)
比如,输入的句子中,abc:50,abcd:49,那么就可以在49/50>Threshold时,直接删除abc这个词。这就是剪枝。可以用来减少词集合