（论文笔记）PSENet：Shape Robust Text Detection with Progressive Scale Expansion Network（CVPR2019）

问题描述：

（a）原图

（b）基于回归的方法，可以看到第2/3个文本实例错误划分为一个

（c）基于语义分割的方法，蓝色相邻实例错误预测为一个

（d）PSENet，可以很好地区分和检测相邻文本实例。

动机：

基于语义分割，预测shrunk后的文本区域，然后逐步扩大到正常大小，解决位置邻近的文本易互相包围的现象，同时可以检测曲文。

方法：

• 基于ResNet+FPN，将P2~P5的特征图融合，融合后的特征图产生n个outputs  S1~Sn，输出不同kernel的语义分割图（论文中“kernel”代指不同大小的分割区域）
• 从最小Size的kernel S1开始，用基于连通域分析的方法以及BFS广度优先算法，逐步扩大到Sn，得到最终输出。

注：Label Generation采用Vatti's clipping algorithm，可以用python pyclipper得到。

消融实验：

其他实验：

• IC15：85.7
• IC17：72.2（ResNet152）
• Tota-Text：80.9
• CTW1500：82.2