Soft-Masked Bert论文阅读记录

Soft-Masked Bert论文阅读记录

论文地址

Soft-Masked Bert

论文介绍

文本纠错，是自然语言处理领域检测一段文字是否存在错别字、以及将错别字纠正过来的技术，一般用于文本预处理阶段，同时能显著缓解智能客服等场景下语音识别（ASR）不准确的问题。

Soft-Masked Bert的大致原理是基于Bert从句子中的每一个字的候选字组中找到正确的候选字进行纠错。Soft-Maked Bert将文本的纠错任务分为检测网络和纠错网络两个部分，纠错网络的输入来自检测网络的输出，通过soft masking 将检测网络的输出字符特征添加mask embedding进行纠错。

论文原理

检测网络

检测网络的输入是一个包含了n个字符的字符序列X通过embedding处理之后的序列E： X = { x 1 , x 2 , x 3 , . . . , x n } , E = { e 1 , e 2 , e 3 , . . . , e n } X = \lbrace x_1,x_2,x_3,...,x_n \rbrace , E=\lbrace e_1,e_2,e_3,...,e_n\rbrace X={x1​,x2​,x3​,...,xn​},E={e1​,e2​,e3​,...,en​}其中的$e_i$是$x_i$通过word embedding,position embedding,segment embedding共同处理。

检测网络的输出是一个字符的标签序列 G = { g 1 , g 2 , g 3 , . . . , g n } G= \lbrace g_1,g_2,g_3,...,g_n \rbrace G={g1​,g2​,g3​,...,gn​},$g_i$表示当前字符的标签值，其中0代表当前字符无错，1代表当前字符错误。对于每一个字符，使用$p_i$表示当前字符的$g_i$ 为1的概率，$p_i$值越高表示当前的字符错误可能性越大。 检测网络是由双向GRU组成，利用上下文信息输出$p_i$，$p_i$的定义如下:$$p_i=P_d(g_i=1|X)=\sigma (W_d{h}_i^d+b_d)$$其中的$\sigma$为sigmoid函数，对于$h_i^d$的定义：$$\overrightarrow{h_{i1}^d}=GRU(\overrightarrow{h_{i-1}^d},e_i)$$$$\overrightarrow{h_{i2}^d}=GRU(\overrightarrow{h_{i+1}^d},e_i)$$$$\overrightarrow{h_i^d}=[\overrightarrow{h_{i1}}\cdot \overrightarrow{h_{i2}}]$$

Soft Masking

Soft Masking相当于是input embedding $e_i$、mask embeddings $e_{mask}$的加权和，权重为$p_i$,Soft-Masked embedding的表达式如下：$$e_i^{{}^{\prime }}=p_i\ast e_{mask}+(1-p_i)\ast e_i$$通过表达式可以看出，当$p_i$越高的时候，$e_i^{{}^{\prime }}$的值就越接近$e_{mask}$,反之约接近$e_i$。

纠错网络

纠错网络的模型是一个基于BERT的序列多分类标记模型，纠错网络的输入为Soft Masking输出的序列 E ′ = { e 1 ′ , e 2 ′ , e 3 ′ , . . . , e n ′ } E'=\lbrace e_1',e_2',e_3',...,e_n'\rbrace E′={e1′​,e2′​,e3′​,...,en′​},输出为纠错完成的字符序列 Y = { y 1 , y 2 , y 3 , . . . , y n } Y=\lbrace y_1,y_2,y_3,...,y_n\rbrace Y={y1​,y2​,y3​,...,yn​}。检测网络输出的特征$E^{\prime }$作为BERT的12层Transformer模块的输入 ，其中最后一层的Transformer使用检测网络的输入Emdedding特征$E$与这一层的输出残差连接作为模型的输出，最终过一遍softmax函数，在候选字表中选取每一个位置的正确字符。$$h_i^{\prime }=h_i^c+e_i$$

模型的训练

Soft-Masked Bert模型的训练是端到端进行的，训练的数据是由原始句子序列和纠错句子序列组成的 { ( X 1 , Y 1 ) , ( X 2 , Y 2 ) , ( X 3 , Y 3 ) , . . . , ( X n , Y n ) } \lbrace (X_1,Y_1),(X_2,Y_2),(X_3,Y_3),...,(X_n,Y_n) \rbrace {(X1​,Y1​),(X2​,Y2​),(X3​,Y3​),...,(Xn​,Yn​)}生成训练数据的一种方法是通过给定的字符序列$Y_i$,使用困惑字符表中的字符进行生成原始字符序列$X_i$，模型的损失函数由检测网络和纠错网络加权构成


其中$\lambda \in (0,1)$

论文实验结果

实验数据

SIGHAN数据集和新闻标题数据集

实验结果

实验对比了多种CSC模型方法，最终的结果如下图：

实验的结果可以看到经过微调训练的BERT模型相比预训练模型效果有了很大的提升，这个在之前的Faspell项目中也是相同的，微调能极大的提升纠错的效果。
上图是不同训练数据集大小的效果对比，可以看到随着数据集size的增大，检测和纠错的效果都在提升，不过貌似看起来纠错的召回率有点低，比之前我使用FASPELL训练的要低10%左右。