sentencepiece原理和使用

sentencepiece为字词的切分算法，在中文就是感觉就是分词（可能有bpe，还没有确定？），在英文中感觉就是bpe。

算法过程：
拆分句子中有两个变量，一个为词表和句子的切分序列。EM算法，句子的切分序列为隐变量。
开始时，随机初始化一个词表和随机切分一下句子。
1、固定词表，求一个句子困惑度最低的切分序列。
2、根据这个切分序列求固定词表，剔除一个词，然后计算困惑度，最后对困惑度设定一个阈值，筛选一些对语料集影响较大的词。