pytorchOCR之SAST

pytorchOCR之SAST

论文
官方代码

主要思路

本文主要思路，预测四个map，tcl，tvo，tco，tbo。其中tcl为分割图，与psenet和dbnet的kernel一样，为了分开密集临近的文本，如下图所示：

图a中红色部分即为tcl，计算方式是通过文本向内收缩形成的分割图，图b为tbo的计算方式，代表了tcl像素到边界的偏移量，上边界x,y和下边界x,y共四维。图c为tvo的计算方式，代表了tcl中的像素到文本标注框的四个角点的偏移量x,y，所以共8维，图d为tco的计算方式，代表了tcl中像素到标注框中心点的偏移量x,y，所以共2维。四个map的生成方式可参看ptocr/dataloader/DetLoad/SASTProcess_ori.py

所以loss设计如下：

loss的实现可参看ptocr/model/loss/sast_loss.py

本文还有一个创新点，提出了一个CAB模块。来起到一个在水平和竖直方向来聚合像素上下文的作用，来起到增强分割效果的作用。如下：

对照这图片，具体实现可参看/ptocr/model/head/det_SASTHead.py中的cross_attention。

文中所有图片皆来自论文