【OCR文章】CRNN 端到端可训练神经网络对于OCR的应用

最新推荐文章于 2022-08-11 15:15:59 发布
最新推荐文章于 2022-08-11 15:15:59 发布
阅读量824 收藏 1
点赞数 1
文章标签： 计算机视觉
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43561218/article/details/115298856
版权

CRNN 端到端可训练神经网络对于OCR的应用

背景论文

photoOCR: reading text in uncontrolled conditions

作者： A Bissacco
在这里插入图片描述
DCNN（检测并识别分割字符）的鼻祖，使用标注好的字符图像去分类字符，需要有很强的字符检测和分割算法，同时需要将检测出的字符从原图中裁剪出来。

reading text in the wild with convolutional neural networks

作者：M Jaderberg
因为我自己在做化学式识别，所以就用自己画的图了

这个算法总体来说就是先画出几个框，不断优化框的范围，然后就对框内的字符进行识别，打分，最后确定框的位置和框里的内容。

他的优点是：端到端的训练，并且使用单词级别的识别粒度，准确率提高，缺点是模型过大，并且对于字符数量多的中文扩展性不好

a novel connectionist system for unconstrained handwriting recongnition

作者：A Graves, M Liwicki, S Fernández

手写体识别的文章，是一篇基于预定义词典的单词识别，是纯识别类文章，使用hook之类的传统机器学习方法进行特征方法，得到序列，并输入BILSTM后输出到CTC并将输出对应到词典里的单词，判断哪个单词的可能性最大。
在这里插入图片描述

优点是：摒弃了马尔科夫模型，而是用LSTM模型，可以处理字符不易分割、双向依赖类序列标注任务。
缺点是：不支持端到端训练、也没有使用CNN提取特征。

word spotting and recognition with embedded attributes

作者 Jon Almazan, Albert Gordo, Alicia Forn ´ es, Ernest Valveny

这篇文章是把图片卷积后，投影到子空间中，吧OCR任务建模位一个特征空间单词检索任务。不过他的准确率不及基于CNN的模型。
来问文章的图片

CRNN 正文

CRNN 的研究成果和意义

作者：B SHI

首先是说自己有更高的准确率和更小的模型。

下面是CRNN文章里写出的测试比较，其中数据集下面的子集数字表示使用的预定义词典数，横线则代表没有这个实验。
这里使用了四个数据集
端到端训练的模型其实是非常重要的，这代表模型易用性高，只要给定输入和输出就能进行测试或者训练，不需要额外的预处理。

并且网络使用卷积进行特征提取，不需要字符级别的人工标注，且支持无预定词典。

同时模型大小仅仅有8.3M，在OCR模型中是非常重要的，因为实际应用中，不一定有很大的内存空间进行数据存储。即使到现在2021，也很少有比CRNN更小的模型
模型的特性总结，CRNN支持端到端训练，使用卷积提取特征，
这篇文章以前的OCR文章将分离的不同模块单独训练，比如特征提取-》特征筛选-》特征识别。

这篇文章开启了OCR的一种基本方法论，以后的OCR技术都朝着端到端训练，集特征提取、识别、解码集成于一体的模型。同时这个模型的小型化也加速了OCR在计算机视觉应用上的落地。

文章认为文字识别是对序列的预测方法，所以采用了对序列预测的RNN网络。通过CNN将图片的特征提取出来后采用RNN对序列进行预测，最后通过一个CTC的翻译层得到最终结果。说白了就是CNN+RNN+CTC的结构。

这里着重介绍一下CTC算法，见这篇文章.

总的来说 CTC （Connectionist Temporal Classification）适合这种不知道输入输出是否对齐的情况使用的算法，他通过引入空位符和Q变换，来让多种识别序列能映射到同一个单词，因此提高正确单词的识别率。

实验设置和结果分析

模型模块对比

模型指标对比

Lexicon-based 参数影响

在有词典辅助时，需要设置搜索邻域大小，因为不可能在全集里面搜索词汇，这样时间复杂度太高，因此设置一定的邻域大小来降低搜索复杂度。邻域大小过大或导致时间复杂度过高，邻域过小会导致模型衰减为无词典辅助模型。

文章以一种算法为主测试了最佳的邻域大小。

王树杰
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
C#实现的基于神经网络的OCR文字识别源代码
05-25
C#实现的基于神经网络的OCR文字识别程序，内含完整演示代码。Vs.net 2008
crnn：卷积递归神经网络（CRNN），用于基于图像的序列识别
02-03
卷积递归神经网络该软件实现了卷积递归神经网络（CRNN），它结合了CNN，RNN和CTC损失，可用于基于图像的序列识别任务，例如场景文本识别和OCR。 有关详细信息，请参阅我们的论文 。 更新2017年3月14日，一个Docker...
人工神经网络介绍及OCR软件应用举例
weixin_34261739的博客
04-09 214
2019独角兽企业重金招聘Python工程师标准>>> ...
基于神经网络的OCR识别
weixin_34259232的博客
02-04 1942
Optical Character Recognition(OCR) 光学识别，通俗的讲就是识别图片内的文字，比如身份证上的身份证号，姓名，地址等，银行卡上的卡号 等等. Evil Github repo Evil是一个iOS和macOS平台下简单的识别框架。支持通过 CocoaPods、Carthage 和 Swift Package Manager 安装。底层的识别模型可以很容易的迁移到其他平...
java 神经网络 ocr,神经网络OCR
weixin_33398033的博客
02-17 71
Hi all....Will any one of u plz let me know that is there any source code for OCR(Optical character recognition) in C++ or in whatever programing language ? Or any available source code for any applic...
神经网络 OCR 参考
weixin_30802273的博客
06-12 422
1.https://blog.csdn.net/u010159842/article/details/87271554 2.https://blog.csdn.net/weixin_42861043/article/details/89705021 3. https://swift.ctolib.com/ooooverflow-chinese-ocr.html 转载于:https://ww...
keras-ocr 模型文件 craft-mlt-25k.h5 crnn-kurapan.h5
11-28
2. **CRNN-Kurapan.h5 (CRNN)**：CRNN（Convolutional Recurrent Neural Network）是一种结合卷积神经网络（CNN）和循环神经网络（RNN），用于序列标注任务，特别是OCR中的文本识别。CNN用于提取图像特征，RNN则用于...
基于卷积神经网络的车牌定位与识别算法的研究.docx
最新发布
11-01
YOLO通过单个神经网络同时预测边界框和类别概率，实现了端到端的检测。在车牌定位问题中，可以训练一个针对车牌的YOLO模型，它能够快速而准确地识别出图像中的车牌位置。 接下来，文章可能详细阐述了如何构建和训练...
CRNN_CRNN_文本识别_
10-03
这篇论文深入探讨了如何利用CRNN来实现图像到序列的端到端可训练神经网络，并将其应用于场景文本识别。 文本识别是计算机视觉领域的一个重要组成部分，它涉及到从图像中自动检测和识别出文本。传统方法通常包括图像...
python基于tensorflow、keraspytorch实现对自然场景的文字检测及端到端的OCR中文文字识别.zip
04-27
在这个项目中，TensorFlow可能被用来构建和训练深度学习模型，如卷积神经网络（CNN）和循环神经网络（RNN），这些网络对于图像处理和序列数据的分析非常有效。 **2. Keras**: Keras是基于TensorFlow的高级神经网络...
深度学习CNN端到端字符识别
09-29
利用5层CNN构建端到端OCR产生、训练和测试程序，对1-3个字符构成的特定投影变换扭曲字体识别率接近100%，独热编码。
机器学习-手写神经网络实现OCR(未完待续)
one_two12的博客
11-10 245
目的:手写字体的识别
（一）CRNN----2015CVPR论文解读
chenbo的博客
02-17 3357
An End-to-End Trainable Neural Network for Image-based Sequence Recognition and Its Application to Scene Text Recognition 基于图像序列识别的端到端可训练神经网络及其在场景文本识别中的应用 Abstract 基于图像的序列识别一直是计算机视觉中长期存在的研究课题。在本文中，我们研...
【MindSpore产品】【CRNN模型训练功能】使用MindSpore进行CRNN模型训练，loss从一开始就为0.0
weixin_45666880的博客
08-11 396
1、将crnn的代码拷贝下来，路径：https://gitee.com/mindspore/models/tree/master/official/cv/crnn。crnn训练代码脚本版本：1.3、master分支均尝试过，现象一致。现象： loss从一开始就是0.0，显然是由问题的。MindSpore 版本：1.3.0。建议重装下MindSpore试一试。...
【转载】crnn的一些训练技巧
清凌的博客
05-25 3604
建议看原文， 我是怕原文挂了，才做一个转载备份一下。。。 博主总结得很好，就是博客园有时候真的搜不到啊 原文链接： Recurrent Neural Network[CTC] ctc可以看作一种对字符识别过程中，一整句话的自动切分。 CTC是看似和HMM有些联系，然后也采用DP来进行求解，将CTC结构图中<RNN输出，CTC层>单独拿出来，得到如下形式： 上图如CTC结构图， 最开始只能以(-)或者标签序列中第一个字符开始，即这里的t=1时，是{(-)，(C)}； 在结尾也只能以(−)(-
orc原理
武凯的博客
04-24 1068
链接: link. 61.理论篇1.1 二值化方法1.1.1 全局阈值方法1.1.2 局部阈值方法1.1.3 基于深度学习的方法1.1.4 基于形态学和阈值的文档图像二值化方法1.2 图像去噪1.3 倾斜角检测校正1.3.1霍夫变换原理1.4横纵向切割找到词语具体位置：可以使用一些目标检测的算法比如yolo和faster rcnn1.5对目标框中的内容进行特征提取然后与文字库进行匹配1.6然后将得到的问题与题库匹配找到相应答案 1.理论篇 光学字符识别(Optical Character Recogniti
论文阅读：Reading Text in the Wild with Convolutional Neural Networks
Simon's Blog
08-27 7317
来自 VGG 实验室，发表在 IJCV 上。实验步骤分为两部分，基于 region proposal mechanism 的检测文字部分，以及基于 CNN 的文字识别部分。在第一部分的 region proposal 部分，首先保证较高的 recall，尽量把所有可能的文字区域先检测出来；然后经过一个 filtering 阶段，保证文字检测的精度。 在第二部分的 word recognition 部分，不同于传统的
python深度文字识别_【OCR技术系列之四】基于深度学习的文字识别（3755个汉字）...
weixin_39859061的博客
12-10 788
上一篇提到文字数据集的合成，现在我们手头上已经得到了3755个汉字(一级字库)的印刷体图像数据集，我们可以利用它们进行接下来的3755个汉字的识别系统的搭建。用深度学习做文字识别，用的网络当然是CNN，那具体使用哪个经典网络？VGG?RESNET？还是其他？我想了下，越深的网络训练得到的模型应该会更好，但是想到训练的难度以及以后线上部署时预测的速度，我觉得首先建立一个比较浅的网络(基于LeNet的...
CRNN详解
热门推荐
bestrivern的博客
11-02 3万+
一.概述 常用文字识别算法主要有两个框架： CNN+RNN+CTC(CRNN+CTC) CNN+Seq2Seq+Attention 本文介绍第一种方法。 CRNN是一种卷积循环神经网络结构，用于解决基于图像的序列识别问题，特别是场景文字识别问题。 文章认为文字识别是对序列的预测方法，所以采用了对序列预测的RNN网络。通过CNN将图片的特征提取出来后采用...
ocr和crnn国内外研究现状
05-09
OCR（Optical Character Recognition）是一种光学字符识别技术，用于将印刷或手写文字转换成数字化文本。CRNN（Convolutional Recurrent Neural Networks）是一种深度学习模型，结合了卷积神经网络和循环神经网络，常用于OCR领域的文本识别任务。 国内外在OCR和CRNN领域的研究现状如下： 国内研究现状： 1. 针对印刷体文字识别，国内研究人员主要关注于模型优化和数据增强。如利用自监督学习方法提高模型准确度，使用GAN生成样本进行数据增强等。 2. 针对手写汉字识别，国内研究人员主要关注于数据集构建和模型设计。如构建了包含数十万个汉字样本的数据集，设计了基于CRNN的多尺度特征融合模型等。 3. 针对OCR在场景文字识别中的应用，国内研究人员主要关注于文字检测和识别的联合训练。如利用端到端的网络结构进行文字检测和识别的联合训练，提高场景文字识别的准确度。 国外研究现状： 1. 针对OCR技术在多语言识别中的应用，国外研究人员主要关注于多语言的OCR模型设计和跨语言的迁移学习。如利用多语言训练数据进行迁移学习，提高跨语言OCR的准确度。 2. 针对OCR技术在图像处理中的应用，国外研究人员主要关注于OCR技术在图像去噪、图像增强、图像分割等方面的应用。如利用OCR技术进行文本线条分割，提高文本检测的准确度。 3. 针对OCR技术在实际场景中的应用，国外研究人员主要关注于OCR技术在车牌识别、身份证识别、银行卡识别等方面的应用。如利用OCR技术在车牌识别中进行车型识别，提高车牌识别的准确度。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值