m0_48233372的博客

原创 Handwritten Mathematical Expression Recognition with Bidirectionally Trained Transformer BTTR模型复现

对于BTTR模型的优点，本文提出了一种双向训练的Transformer模型，与之前的一些方法相比较，有以下三个优点：（1）通过图像位置编码，模型可以获取图片的位置信息，引导自身合理分配注意力，缓解覆盖不足问题。对于训练过程，自己使用1650显卡非常慢，使用了室友的3060也非常慢，因为这个需要训练300个epoch，所以自己在云GPU平台进行训练，使用了3080-10G，然后跑了200多个epoch,得到一个还算满意的模型权重。对于图上的base，自己懒的改了，进行这步操作需要在之前创建的bttr环境中。