语义分割之OCR的评判标准

参考：中文文字检测与识别的评测方法

Challenges 4使用的评测方法

1. 介绍

不同于Challenges 1和2，是Challenges 4标定的框多种多样，并不是水平的，如果像之前那样可能各种匹配形式会很复杂。Challenges 4的评测方法采用简单的计算IoU来进行评测，在Challenges 4中标定框与检测框都为多边形而不是之前的水平矩形了。

2. 具体方法

1. 针对每张图片，创建一个n x m大小的矩阵（称为iouMat），其中n为标定框的个数（GT），m为检测到的框个数（Det）。
   $$iouMa{t}_{i,j}=\frac{area(inter(g{t}_i,de{t}_j))}{area(union(g{t}_i,de{t}_j))}$$
   注：$g{t}_i、de{t}_j$分别表示第i个标定框和第j个检测框，inter()表示求两个矩形框的交际，union()表示求两个矩形框的并集，area()表示求的面积

2. 定义IoU阈值（一般0.5），统计iouMat中大于阈值的个数，记为TP

   • recall的分数：TP/GT
   • precision的分数：TP/Det
   • ap(average precision)的分数：在检测的输出结果中要输出一列每个检测框的置信度，首先将置信度排序，每有一个符合条件(这里的条件就是3中大于0.5的检测框)的框，计算此时的准确率(计算方法为当前满足条件的框的个数除以已检测出的框的个数)，将所有满足条件的框计算出来的准确率相加，最后除以除以gt个数(这里的gt个数同上，除去了文本标定为###的框)，得到每张图片的ap指标。若要算整个测试集的map，同理，只是框个数变成的整个测试集的框个数。

注， 要说明的是，如果检测到的是长文本，但是标定的是单个字，这时候检测可能会算为检测不准确，这是这个评测方法的缺陷