动手学CV-Pytorch计算机视觉 使用transformer实现OCR字符识别

本文介绍如何利用transformer模型解决OCR任务,基于ICDAR2015数据集,涵盖数据集分析、字符映射、模型构建与训练。通过分析数据集特性,构建字符与id映射,并使用Resnet-18提取图像特征,通过Transformer进行序列预测。实验代码包括数据预处理、模型构建、训练和贪心解码。
摘要由CSDN通过智能技术生成

本文将以 ICDAR2015 Incidental Scene Text 中的 Task 4.3: Word Recognition 单词识别子任务作为数据集,讲解如何使用transformer来实现一个简单的OCR文字识别任务,并从中体会transformer是如何应用到除分类以外更复杂的CV任务中的。

文章将大致从以下几个方面讲解:

  • 数据集简介
  • 数据分析与字符映射关系构建
  • 如何将transformer引入OCR
  • 训练框架代码讲解

注:本文未涉及过多transformer原理的讲解,更注重围绕如何设计模型和训练架构来解决OCR任务进行讲解。对transformer原理及代码并不熟悉的小伙伴需要先学习本文的前置章节《6.1 hello transformer》,重点讲解了 transformer 的代码实现。

本实验代码位于dive-into-cv-pytorch/code/chapter06_transformer/6.2_recognition_by_transformer

主要包括以下几个文件:

  • analysis_recognition_dataset.py (数据集分析脚本)
  • ocr_by_transformer.py
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

IT狂飙

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值