ICDAR2013Challenge1(Born Digital)和Challenge2(Focused Scene)都有Text Localization任务,使用的evaluation方法基本相同(不同的是Challenge2需要处理ignored text)。
方法来源是一篇十几年前的paper:
C. Wolf and J.M. Jolion, “Object Count / Area Graphs for the Evaluation of Object Detection and Segmentation Algorithms”, International Journal of Document Analysis, vol. 8, no. 4, pp. 280-296, 2006.
这篇paper读下来,我主要get到两部分知识:
1. 文本分割/检测算法的四个evaluation level
2. ICDAR2013 Localization任务的Evaluation方法
分为两篇blog来分别记录。
从Recall 与Precision开始
Recall与Precision的概念来自于信息检索领域(Information Retrieval, IR)。
Recall, 召回率,代表ground truth里的东西有多大比例被取出来了:
recall=N.o.True PositivesN.o. Ground truth
Precision, 精度,取出来的东西有多大比例是正确的:
precision=N.o. True PositivesN.o. Retrieved Items