因为没有更多的数据集,我们使用CROHME比赛给的官方训练集,虽然不多,但是也有八千多张,在使用了前面所述的模型训练后,我们对预测结果进行了详细分析,发现存在缺少覆盖和过度覆盖的问题,即有些符号没有解析和一些符号过度解析,注意力机制的效果还需要改进,我们尝试使用一种像素级辅助分类损失来改进注意力机制,具体做法如下:
像素级辅助分类损失
为了更好的优化编码器让其具有更好的特征提取能力,我们添加了一个像素级的辅助分类损失函数。在编码器得到的特征图A中,我们直接对每个位置的特征向量进行分类。利用像素级特征 a i \mathbf{a}_{i} ai,可以通过两个全连接层和两个激活层获得像素级分类概率 p i pixel \mathbf{p}_{i}^{\text {pixel }} pipixel :
h i pixel = maxout ( W 1 pixel a i ) p i pixel = softmax ( W 2 pixel h i pixel ) \mathbf{h}_{i}^{\text {pixel }}=\operatorname{maxout}\left(\mathbf{W}_{1}^{\text {pixel }} \mathbf{a}_{i}\right) \\ \mathbf{p}_{i}^{\text {pixel }}=\operatorname{softmax}\left(\mathbf{W}_{2}^{\text {pixel }} \mathbf{h}_{i}^{\text {pixel }}\right) hipixel =maxout(W1pixel a