天池CV赛事-街景字符编码识别（一）——赛题理解

最新推荐文章于 2022-04-21 10:39:38 发布

清崎教练

最新推荐文章于 2022-04-21 10:39:38 发布

阅读量434

点赞数

分类专栏： CV竞赛文章标签：计算机视觉 python 深度学习

本文链接：https://blog.csdn.net/bosszhao20190517/article/details/106242477

版权

CV竞赛专栏收录该内容

5 篇文章 0 订阅

订阅专栏

系列文章
天池CV赛事-街景字符编码识别（一） —— 赛题理解
 天池CV赛事-街景字符编码识别（二） —— 数据读取与数据扩增
 天池CV赛事-街景字符编码识别（三）—— 字符识别模型
 天池CV赛事-街景字符编码识别（四）—— 模型训练与验证
 天池CV赛事-街景字符编码识别（五）—— 模型集成

一、赛题理解

1.1 学习目标

通过之前的python+opencv的第一阶段学习，此前系列的链接https://blog.csdn.net/bosszhao20190517/article/details/105645619，掌握了图像处理的基础方法和原理，此次跟随Datawhale参加天池大赛——零基础入门CV赛事-街景字符编码识别，报名链接https://tianchi.aliyun.com/competition/entrance/531795/introduction，走进计算机视觉的世界，在比赛中学习并且提升自己。

这次比赛旨在学习pytorch的框架，并且利用该框架构建CNN模型，并进行图像的识别。

赛题任务：要求选手预测街道字符编码，这是一个典型的字符识别问题。为了简化赛题的难度，赛题数据采用公开数据集SVHN，有很多paper都可以作为参考。

1.2 赛题数据

赛题以街道字符为为赛题数据，数据集报名后可见并可下载，该数据来自收集的SVHN街道字符，并进行了匿名采样处理。

注意：只能使用比赛给定的数据集完成训练，不能使用SVHN原始数据集进行训练。

训练集数据包括3W张照片，验证集数据包括1W张照片，每张照片包括颜色图像和对应的编码类别和具体位置；为了保证比赛的公平性，测试集A包括4W张照片，测试集B包括4W张照片。

需要注意的是本赛题需要选手识别图片中所有的字符，为了降低比赛难度，我们提供了训练集、验证集和测试集中所有字符的位置框。换句话说，所有待识别的字符的位置已经给出了。

1.3 字段表

所有的数据（训练集、验证集和测试集）的标注使用JSON格式，并使用文件名进行索引。如果一个文件中包括多个字符，则使用列表将字段进行组合。

Field	Description
top	左上角坐标X
height	字符高度
left	左上角坐标Y
width	字符宽度
label	字符编码

如下图所示：

在比赛数据（训练集、测试集和验证集）中，同一张图片中可能包括一个或者多个字符，因此在比赛数据的JSON标注中，会有两个字符的边框信息，例如：

原始图片	图片JSON标注

1.4 评价标准

选手提交结果与实际图片的编码进行对比，以编码整体识别准确率为评价指标。任何一个字符错误都为错误，最终评测指标结果越大越好，具体计算公式如下：

score=编码识别正确的数量/测试集图片数量

1.5 读取数据

读取JSON中标签的方式：

#%%

import json
import numpy as np
import cv2
import matplotlib.pyplot as plt

train_json = json.load(open('mchar_train.json'))

# 数据标注处理
def parse_json(d):
   arr = np.array([
       d['top'], d['height'], d['left'],  d['width'], d['label']
   ])
   arr = arr.astype(int)
   return arr

img = cv2.imread('mchar_train/mchar_train/000160.png')
arr = parse_json(train_json['000160.png'])

plt.figure(figsize=(10, 10))
plt.subplot(1, arr.shape[1]+1, 1)
plt.imshow(img)
plt.xticks([]); plt.yticks([])

for idx in range(arr.shape[1]):
   plt.subplot(1, arr.shape[1]+1, idx+2)
   plt.imshow(img[arr[0, idx]:arr[0, idx]+arr[1, idx],arr[2, idx]:arr[2, idx]+arr[3, idx]])
   plt.title(arr[4, idx])
   plt.xticks([]); plt.yticks([])

plt.savefig('test_json_000160.png')
plt.show()