街道字符识别_题目理解(datawhale)

1 数据集说明

• 数据集来自公开数据集SVHN，进行匿名处理和噪音处理；训练集数据包括3W张照片，验证集数据包括1W张照片
• 每张照片包括颜色图像和对应的编码类别和具体位置；给出了训练集、验证集中所有字符的位置框

2 字段表

所有的数据（训练集、验证集和测试集）的标注使用JSON格式，并使用文件名进行索引。如果一个文件中包括多个字符，则使用列表将字段进行组合。

Field	Description
top	左上角坐标X
height	字符高度
left	左上角坐标Y
width	字符宽度
label	字符编码

3 评价指标

结果与实际图片的编码进行对比，以编码整体识别准确率为评价指标。任何一个字符错误都为错误，最终评测指标结果越大越好
Score=编码识别正确的数量/测试集图片数量

4 读取数据

import json
train_json = json.load(open('../input/train.json'))

# 数据标注处理
def parse_json(d):
   arr = np.array([
       d['top'], d['height'], d['left'],  d['width'], d['label']
   ])
   arr = arr.astype(int)
   return arr

img = cv2.imread('../input/train/000000.png')
arr = parse_json(train_json['000000.png'])

plt.figure(figsize=(10, 10))
plt.subplot(1, arr.shape[1]+1, 1)
plt.imshow(img)
plt.xticks([]); plt.yticks([])

for idx in range(arr.shape[1]):
   plt.subplot(1, arr.shape[1]+1, idx+2)
   plt.imshow(img[arr[0, idx]:arr[0, idx]+arr[1, idx],arr[2, idx]:arr[2, idx]+arr[3, idx]])
   plt.title(arr[4, idx])
   plt.xticks([]); plt.yticks([])

5 思路

分类问题，识别图片的字符。难点在于对不定长的字符进行识别。

• 定长字符识别；最多6个字符，因此可以将少于6个的填充为6个，对每个字符进行11个类别的分类，如果分类为填充字符，则表明该字符为空。
• 不定长字符识别；典型的有CRNN字符识别模型，将字符视为一个单词或者一个句子。
• 检测再识别；利用物体检测的思路识别字符的位置，再识别字符。
  需要构建字符检测模型，参考物体检测模型SSD或YOLO算法。

注：写的不是很完善，加油~！