OCR评测研究报告及常用性能指标

1.OCR评测研究报告

链接地址:

  1月13日，中国人工智能产业发展联盟2019年第四次全体大会在北京召开，会上，腾讯云AI视觉团队组织撰写的《OCR产业应用及评测需求研究报告》获得与会专家的认可，并顺利通过立项。该报告是腾讯公司联合中国信息通信研究院、中国人工智能产业发展联盟共同成立的“智能产品安全与评测联合实验室”的首个研究成果。

  OCR（Optical Charater Recongnition）全称“光学字符识别”，即利用光学技术和计算机技术将印制或书写与纸张上的文字读取出来，并转换成计算机可读取、人可以理解的格式。作为实现文字高速录入的关键技术，OCR目前已广泛应用于政府、金融、交通、教育、泛互联网等多个领域。然而，不同应用场景中OCR数据类型差异化很大，每个应用场景都对OCR引擎有不同的要求。例如，金融和交通领域的OCR数据多是结构化的卡证类数据，如身份证、银行卡、驾驶证等，而卡证数据简单、场景安全性要求高，因此对OCR引擎的识别准确率要求会比较高；在教育、泛互联网领域中，多为算式、表格、广告图片、游戏图片等非结构化数据，对OCR引擎的识别准确率要求会相对较低。

  目前，业界尚未有统一的、标准化的OCR引擎评测方法，导致OCR应用市场鱼龙混杂，阻碍了OCR技术在不同领域的良性发展。

  基于腾讯优图提供的腾讯云OCR文字识别技术，以及在多个行业里的AI应用实践经验，腾讯云AI视觉团队启动了《OCR产业应用及评测需求研究报告》（以下简称“研究报告”）的编纂工作，分析OCR在应用中的评测场景、样本分类及评测的关键指标。

  按照不同的应用场景，《研究报告》将OCR引擎划分为“卡证类文字识别”、“票据单据识别”、“汽车相关识别”、“行业文档识别”和“通用文字识别”，基本覆盖主流的OCR应用场景。针对不同的OCR引擎，《研究报告》也建立了不同的标准评测样本集。

  对于评测的关键指标，《研究报告》将其划分为“效果指标”和“性能指标”两类。例如，针对身份证、行驶证等字段准确率要求高的场景，主要看字段级的效果指标，针对通用文字、行业文档等场景，主要看字符级的效果指标。

  与会专家认为，基于OCR应用领域的广泛性，无法用单一的标准和评测样本集来衡量OCR在不同领域的表现，因此，分场景建立权威的评测标准，将有助于更快速地推进OCR技术的产业化落地。

2.OCR文字识别领域常用的评估指标

对于两阶段的可以分开来看，分别是检测和识别阶段:

（1）检测阶段：先按照检测框和标注框的IOU评估，IOU大于某个阈值判断为检测准确。这里检测框和标注框不同于一般的通用目标检测框，是采用多边形进行表示。检测精度：正确的检测框个数在全部检测框的占比，主要是判断检测指标。检测召回率：正确的检测框个数在全部标注框的占比，主要是判断漏检的指标。

（2）识别阶段： 字符识别准确率，即正确识别的文本行占标注的文本行数量的比例，只有整行文本识别对才算正确识别。

（3）端到端统计： 端对端召回率：准确检测并正确识别文本行在全部标注文本行的占比； 端到端准确率：准确检测并正确识别文本行在 检测到的文本行数量 的占比；准确检测的标准是检测框与标注框的IOU大于某个阈值，正确识别的的检测框中的文本与标注的文本相同。