SRN文本识别-CSDN博客

SRN：Towards Accurate Scene Text Recognition with Semantic Reasoning Networks，利用语义推理网络实现准确的场景文本识别。

1、模型过程

（1）输入图像（B，C， H， W），C一般为1（灰度图）或3（RGB）。

（2）FeatureExtraction特征提取，采用Resnet50，提取的特征维度为（B，512, 1, w），h为W/4。那么可检测的文本序列长度为w。特征提取后通道数为512，即每个文字的特征为512。这个变换与CRNN的CNN卷积提取特征的思路一致。

（3）SequenceModeling序列化：采用两层Transformer Encoder进行编码。首先将特征提取的维度由（B，512，1，w）转换为（B，w，512），然后经过两层Transformer Encoder，对输入特征加入注意力和位置编码信息，重新获得序列化后的特征。

（4）SRN_Decoder特征解析：

1）PVAM（并行视觉注意力模块）：将w个文字的读写顺序的embeding（B，w，512）与序列化后的Transformer Encoder特征，采用全连接后相加的方式进行融合（B， w，512）。那么融合后的512维特征里包含了读写顺序，通过（512， w）的全连接和softmax得到一个（B， w，w）矩阵，用这个矩阵来作为特征的权重矩阵。即，每个字符的512维特征中的每一个特征将由w个字符共同决定。可以称这一步为特征内的注意力。权重矩阵乘以Transformer Encoder特征即可得到PVAM模块的输出（B， w，512）g_output，最后通过全连接转换为（B， w，num_classs）转换为对每个字符的预测e_out。

2）GSRM（全局语义推理模块）：根据e_out，选择每个字符所属类别概率最大的类作为识别结果（B， w）。也就是根据PVAM可以初步得到文字识别结果。计算识别结果的embeding（B，w，512），经Transformer Encoder重新编码（B，w，512）s，最后通过全连接转换为（B， w，num_classs）转换为对每个字符的预测s_out。

3）将PVAM模块输出g_output与GSRM模块的输出s相加融合（B，w，512）f，最后通过全连接转换为（B， w，num_classs）转换为对每个字符的预测f_out.

4）根据f_out即可利用概率最大的类别进行文字识别。

5）总结：先利用字符读写顺序对序列特征进行重新编码获得初步识别结果，再将初步识别结果重新融入到序列特征中，相当于从整体上看看是否正确，是否需要进行微调，然后再次获得识别结果。

以上为SRN的个人理解，其他相关参考有：

1）SRN：利用语义推理网络实现准确的场景文本识别。

2）参考代码：https://github.com/chenjun2hao/SRN.pytorch。