ICDAR2017 Competition on Reading Chinese Text in the Wild(RCTW-17)

阅读文章：《ICDAR2017 Competition on Reading Chinese Text in the Wild(RCTW-17)》

　　这篇文章是对一项中文检测和识别比赛项目（RCTW）的介绍和总结，这是一项新的专注于中文识别的竞赛。这项竞赛的特点在于，包含12263张标注过的中文数据集，有两项任务，文本检测以及end-to-end文本识别。竞赛时间从2017年1月20日至3月31日，共收到19个team的23个有效的提交结果。下面从几个方面进行详细说明 。

-数据介绍
-任务及评价标准
-结果总结与分析

---

1. 数据介绍

　　数据集的名字叫做CTW-12k，由12263张包含中文的自然场景图片组成，其中大部分是直接由摄像头或手机拍摄，少部分为生成图像，并且每张图像至少包含一行中文。
　　数据的标注均通过标注工具手工标注完成，通过绘制四边形来标注一个文本行，而不是以单词为单位进行标注，每个文本行的内容以UTF-8字符串进行标注。在数据集中存在字体、布局和语言等多样性。
　　数据集划分为两部分，训练集和验证集包含8034张图片，这部分数据集的图像和标注均在比赛时发布。测试集包含4229张图片，并在截止日期前一个星期发布。

2. 任务及评价标准

　　任务分为两个：文本检测，end-to-end文本识别。与之前的比赛不同的是，没有设置cropped text recognition task，因为相比之下，进行end-to-end的识别设定效果更好。

1） Task 1 - Text Localization

　　文本定位是一项传统的竞赛任务，目标是确定图像中包含文本行的四边形位置，同时提供每个四边形的置信分数。
　　对于这项任务，主要采用的评价标准为mean Average Precision(mAP)。mAP是PR曲线以下的归一化面积值，即所有类别PR曲线下面积的平均值，由于本次竞赛中只有文本这一个类别，故mAP也就等同于AP。
　　原始的AP是定义在轴对齐的bounding box基础上的，而本次竞赛项目中的文本由四边形定位，所以在四边形上计算IoU而不是矩形，如下图所示，计算方法采用python的shapely package。检测结果满足以下两个条件认定为正确：(1)IoU大于0.5；(2)groundtruth没有匹配其他检测结果。当多个检测结果都匹配至同一groundtruth时，选择IoU最大的一个。

　　之前的竞赛普遍使用F-score作为评价标准，F-score是在P和R之间做出一些调整，但AP在调整中保持不变。本任务以AP作为主要的评价标准，并以此根据提交结果进行排行。为了与之前的竞赛对比，同时对每一个提交结果计算出最大F-meansure分数，两个分数均在结果表上列出。
　　下面对几种主要的评价标准进行简单的介绍：

真实情况	预测结果
	正例	反例
正例	TP（真正例）	FN（假反例）
反例	FP（假正例）	TN（真反例）

　　(a) PR（precision-recall）曲线：以查全率R为横坐标，以查准率P为纵坐标的曲线。查准率关心的是”预测出正例的正确率”即从正反例子中挑选出正例的问题。查全率关心的是”预测出正例的保证性”即从正例中挑选出正例的问题。

P=TPTP+F