中文拼写检查-Dynamic Connected Networks for Chinese Spelling Check

将单字的拼音转换为一个独特的整数进行编码加入模型中，使模型掌握拼音信息。并且在预测阶段通过拼音生成topk的备选单字，考虑不同位置topk汉字之间的转移得分，最终解码获得最优路径。
 

模型结构

 （1）汉字编码器： Roberta

  （2）Pinyin Enhanced Candidate Generator 拼音加强的候选汉字生成器

pi是拼音embeding(将不含声调的拼音当作一个整体，进行编码)，wi是汉字embeding，hi是roberta输出

 vm是第m个候选汉字对应的可训练参数。根据（5）计算出来的得分，选择top k个候选汉字（k应该设置成多少呢？如果采样不对，就一定无法修正了）

（3）计算相邻候选之间得得分（图中右半部分）

i是汉字位置索引，m,n分别是第i个位置与第i+1个位置的候选汉字索引

 

通过以上方式，计算出了第i个位置第m个候选汉字与第i+1个位置第n个候选汉字之间的得分，V是可训练的参数。

每个位置有k个候选汉字，所以可能的路径就是k的n次方，每条路径的得分如下：

 y为对应位置的汉字，前面一部分是预测得分，后面一部分是考虑相邻汉字输出的得分。

最终选择得分最高的路径。