这就是神经网络 18：深度学习-文字识别OCR-CRNN

最新推荐文章于 2024-06-08 15:42:36 发布
最新推荐文章于 2024-06-08 15:42:36 发布
阅读量1.2w 收藏 76
点赞数 8
分类专栏： 深度学习论文笔记和实践
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yuanlulu/article/details/90245625
版权

概述

在之前项目中用过CRNN做OCR,我在这里记录一下我对这个算法的理解,我没有对比代码去看，主要结合别人的博客略读论文。

声明一下，主要参考了文末的《一文读懂CRNN+CTC文字识别》这篇文章，基本讲的非常易懂。另外，本算法的难点在于CTC的理解， 基本上参考文末的《Sequence Modeling
With CTC》这篇文章能够比较好的有个理解，参考资料里的另一篇博客《CTC算法详解》基本可以看做是对它的翻译，质量还行。但是整体来说，《一文读懂CRNN+CTC文字识别》这篇文章基本就够了，CTC讲的也很详细。

推理流程

网络主要分为卷积层、循环层和翻译层这三块。推理的时候，主要流程如下：

  • 图像被缩放为32xWx3的大小（宽度不需要固定，高度固定为32就行）
  • 经过卷积层之后，输出1x(W/4)x512大小的特征
  • 上述特征作为循环层（LSTM）的输入。此时我们把这个特征当做一个序列，序列长度为T=W/4，每个1x512的特征被认为是一帧数据，共T帧。
  • LSTM输出为TxN（N为数据集里的字符数），每一帧对应一个1XN的特征，softmax处理后可代表着一帧数据在所有字符上的分类概率
  • 最后，翻译层把softmax处理后的数据翻译为后验概率最大的序列
  • 预测序列做后处理，合并重复的字符，得到最终输出

在这里插入图片描述

卷积层网络结构

32xWx3的大小的图片经过卷积层之后，变为1x(W/4)x512大小的特征。也就是说它在垂直方向的缩放倍数为32，在水平方向的缩放倍数为4。

卷积层主要是为了从图像中提取特征序列，它的输出作为递归层的输入。这个网络是从VGG修改而来，在CRNN发表的年代这无可厚非，当前可以用ResNet等思想去做改进。

在这里插入图片描述

循环层

递归层对特征序列进行预测，每一帧的输出值经过softmax之后，表示这一帧数据在素有字符上的分类概率。

文章认为对于序列的预测，序列的前向信息和后向信息都有助于序列的预测，所以文章采用了双向RNN网络。LSTM神经元的结构和双向RNN结构如下图所示。

在这里插入图片描述

翻译层

翻译分为两种，一种是带字典的，一种是没有字典的。

这一块我不太熟。

loss函数

训练过程就是让下面的LOSS函数最小化：

在这里插入图片描述

P(X|Y)的计算思想如下：

在这里插入图片描述

因为LSTM的帧数是远大于最终输出字符数的，所以可能对应多种预测都对应正确的label（如下图）。上图中红框内对应一个路径上所有节点的概率乘积，上图蓝框中的符号表示所有正确路径的概率相加求和。所以我们的LOSS要做的就是让P(X|Y)最大化。

在这里插入图片描述
推理的时候显然不能找遍所有的路径比较P(X|Y)。所以推理的时候一般用贪心算法或者Beam Search（集束搜索）来快速找到一条或几条概率最大的路径作为候选。

CTC

CTC本身非常复杂，很难几句话说清的。

就说几个特点吧：

  • CTC是一种Loss计算方法，用CTC代替Softmax Loss，训练样本无需对齐（这一点相当重要）
  • 引入blank字符，解决有些位置没有字符的问题
  • 通过递推，快速计算梯度

重点说一下第三点，一般来说会有很多种路径符合预测序列，怎么快速计算出他们的概率乘积乘积呢。这里利用了一个动态规划的算法来计算，一句话来说就是利用了类似HARR-like里的积分图技巧，递推计算。

在这里插入图片描述

CTC的一个非常不合理的假设是其假设每个时间片都是相互独立的，这是一个非常不好的假设。在OCR或者语音识别中，各个时间片之间是含有一些语义信息的，所以如果能够在CTC中加入语言模型的话效果应该会有提升。如果CTC前面接的是LSTM的话，每个序列的预测还算借助了上下文的，但是在CTC这边没有体现出来。

参考资料

CRNN论文原文链接：An End-to-End Trainable Neural Network for Image-based Sequence Recognition and Its Application to Scene Text Recognition

good:Sequence Modeling
With CTC

CRNN算法详解

good:详解CTC

CTC算法详解

CRNN论文翻译——中文版

good:一文读懂CRNN+CTC文字识别

语音识别中的CTC算法的基本原理解释

语音识别：深入理解CTC Loss原理

Beam Search（集束搜索/束搜索）

腾讯数平精准推荐 | OCR技术之识别篇

这个方案是用GAN去水印，CTPN做文字检测，CRNN文字识别：一种去水印的营业执照识别方法

yuanlulu
关注
  • 8
    点赞
  • 踩
  • 76
    收藏
    觉得还不错? 一键收藏
  • 4
    评论
专栏目录
深度学习文字提取与OCR
sybh的博客
10-03 266
光学字符识别（OCR）是计算机视觉领域的一个重要任务，它可以将印刷体或手写文字从图像中提取并转换成可编辑的文本。本博客将演示如何使用OCR技术来进行文字提取，并将重点放在Python代码的实现上。本博客详细演示了如何使用OCR技术来进行文字提取，包括图像文字提取、处理手写文字、处理多语言文本以及处理表格和结构化数据。在本示例中，我们将使用Tesseract OCR库，它是一个开源的OCR引擎，支持多种语言。使用OCR来提取表格中的文本，可以将提取的文本转化为结构化数据。中包含了从手写文字图像中提取的文本。
OCR-CRNN （CNN+CTC）文字识别，实践上手（三）
qq_44936246的博客
09-16 4506
前言 提示：这里可以添加本文要记录的大概内容： 文字识别可根据待识别的文字特点采用不同的识别方法，一般分为定长文字、不定长文字两大类别。 定长文字（例如验证码），由于字符数量固定，采用的网络结构相对简单，识别也比较容易； 不定长文字（例如印刷文字、广告牌文字等），由于字符数量是不固定的，因此需要采用比较复杂的网络结构和后处理环节，识别也具有一定的难度。 提示：以下是本篇文章正文内容，下面案例可供参考 文章目录前言环境一、数据集二、数据集构造模型训练加载模型，识别图片检测结果完整代码下载结果展示 环
智慧水利河湖AI智能视频分析识别 CRNN
最新发布
燧机科技的博客
06-08 287
智慧水利河湖AI智能视频分析识别系统运用视频结构型技术性，根据图像处理与分析，创建图像与图像叙述两者之间的投射关联，掌握视频图像中的內容，运用于水利管理方法情景。智慧水利河湖AI智能视频分析识别系统运用视频智能搜索分析，根据对非结构性原创设计视频数据信息的智能化系统分析解决，创建总体目标的结构型数据库查询，根据对前面视频点监控图像的智能化分析，依据水利具体情景开展科学研究，为河道管理与水利监控智能分析报警给予支撑点。
从基础学习深度学习——手写字符识别
m0_53531576的博客
03-04 1313
调试手写字符识别代码的过程中，遇到RunTimeError的报错，与君分享。
【深度学习】OCR文本识别
热门推荐
天天的博客
04-17 1万+
OCR（optical character recognition）文字识别是指电子设备（例如扫描仪或数码相机）检查纸上打印的字符，然后用字符识别方法将形状翻译成计算机文字的过程；即，对文本资料进行扫描，然后对图像文件进行分析处理，获取文字及版面信息的过程。如何除错或利用辅助信息提高识别正确率，是OCR最重要的课题。衡量一个OCR系统性能好坏的主要指标有：拒识率、误识率、识别速度、用户界面的友好性，产品的稳定性，易用性及可行性等。
文字识别（OCR）专题——基于NCNN轻量级PaddleOCRv4模型C++推理
知来者逆的博客
12-01 7320
使用NCNN对paddle ocr v4进行推理，多平台兼容，可使用GPU。
毕业设计-基于深度学习的文字识别系统
Hai_Lang_IT的博客
03-17 2046
毕业设计-基于深度学习的文字识别系统：​文字识别是指电子设备（例如扫描仪或数码相机）检查纸上打印的字符，然后用字符识别方法将形状翻译成计算机文字的过程；即，对文本资料进行扫描，然后对图像文件进行分析处理，获取文字及版面信息的过程。如何除错或利用辅助信息提高识别正确率，是OCR最重要的课题。衡量一个OCR系统性能好坏的主要指标有：拒识率、误识率、识别速度、用户界面的友好性，产品的稳定性，易用性及可行性等。在文字识别领域中，深度学习的运用，促使文字识别技术的发展，提升文字识别技术的应用价值。文 字识别技术就是
机器学习：项目实战-文档扫描OCR识别.zip
05-31
OCR常使用卷积神经网络（CNN）或者循环神经网络（RNN），如LSTM，甚至结合两者的CRNN模型。这些模型可以捕获图像的特征并识别文本序列。更先进的模型如Transformer也被用于OCR任务，尤其在处理长文本时。 3. **...
图片文字识别crnn-master.zip_CRNN_crnn文字识别_lua中识别文字_图形/文字识别_深度学习图片
09-23
本项目“图片文字识别crnn-master.zip”包含了一个基于CRNN的文字识别系统，它利用了Caffe深度学习框架。尽管描述中提到对其中的lua脚本理解有限，但我们可以深入探讨CRNN的工作原理和相关技术。 **CRNN的核心概念...
基于深度学习的OCR识别源码包
11-25
CRNN（Connectionist Recurrent Neural Network）是一种结合卷积神经网络（CNN）和循环神经网络（RNN）的深度学习模型，特别适合于序列标注任务，如文本识别。在OCR中，CNN用于提取图像特征，而RNN则负责将这些特征...
深度学习在文字识别领域的应用_深度学习在文字识别领域的应用_
10-04
随着深度学习的兴起，尤其是卷积神经网络（CNN）和循环神经网络（RNN）的发展，使得文字识别的准确性和鲁棒性得到了显著提升。 ### 算法介绍 1. **卷积神经网络（CNN）**：CNN在图像识别领域表现出色，对于文字识别...
深度学习之卷积神经网络CNN模式识别VS代码
02-18
深度学习之卷积神经网络CNN做手写体识别的VS代码。支持linux版本和VS2012版本。 tiny-cnn: A C++11 implementation of convolutional neural networks ======== tiny-cnn is a C++11 implementation of convolutional neural networks. design principle ----- * fast, without GPU 98.8% accuracy on MNIST in 13 minutes training (@Core i7-3520M) * header only, policy-based design supported networks ----- ### layer-types * fully-connected layer * convolutional layer * average pooling layer ### activation functions * tanh * sigmoid * rectified linear * identity ### loss functions * cross-entropy * mean-squared-error ### optimization algorithm * stochastic gradient descent (with/without L2 normalization) * stochastic gradient levenberg marquardt dependencies ----- * boost C++ library * Intel TBB sample code ------ ```cpp #include "tiny_cnn.h" using namespace tiny_cnn; // specify loss-function and optimization-algorithm typedef network CNN; // tanh, 32x32 input, 5x5 window, 1-6 feature-maps convolution convolutional_layer C1(32, 32, 5, 1, 6); // tanh, 28x28 input, 6 feature-maps, 2x2 subsampling average_pooling_layer S2(28, 28, 6, 2); // fully-connected layers fully_connected_layer F3(14*14*6, 120); fully_connected_layer F4(120, 10); // connect all CNN mynet; mynet.add(&C1); mynet.add(&S2); mynet.add(&F3); mynet.add(&F4); assert(mynet.in_dim() == 32*32); assert(mynet.out_dim() == 10); ``` more sample, read main.cpp build sample program ------ ### gcc(4.6~) without tbb ./waf configure --BOOST_ROOT=your-boost-root ./waf build with tbb ./waf configure --TBB --TBB_ROOT=your-tbb-root --BOOST_ROOT=your-boost-root ./waf build with tbb and SSE/AVX ./waf configure --AVX --TBB --TBB_ROOT=your-tbb-root --BOOST_ROOT=your-boost-root ./waf build ./waf configure --SSE --TBB --TBB_ROOT=your-tbb-root --BOOST_ROOT=your-boost-root ./waf build or edit inlude/config.h to customize default behavior. ### vc(2012~) open vc/tiny_cnn.sln and build in release mode.
CNN深度学习识别字符matlab
02-12
CNN深度学习-字符识别；可以进行单张样本的识别；源代码是进行批量的测试，无法进行单张测试；test_example_CNN_yhw.m可以直接运行
基于CRNN 网络识别图片中的文字.zip
01-12
一种新颖的神经网络模型，其网络架构设计专门用于识别图像中的类序列对象。所提出的神经网络模型被称为卷积循环神经网络（CRNN），因为它是 DCNN 和 RNN 的组合。对于类序列对象，CRNN 与传统神经网络模型相比具有...
OCR文字识别算法总结
weixin_53226226的博客
01-11 2972
1.学习内容： 文字识别算法总结 1.CTPN 2.CNN+RNN 3.CNN+STN+RNN算法汇总 先介绍CNN+RNN文字识别 #CNN+RNN from tensorflow.keras import backend as K from tensorflow.keras.models import * from tensorflow.keras.layers import * import tensorflow as tf import numpy as np # 根据Tensor
基于深度学习的OCR技术
weixin_41888295的博客
05-06 905
例如，在文档管理领域，有道实况OCR技术可以将扫描的图片自动识别并转换为可编辑的文本格式，从而提高了文档管理的效率。在身份认证领域，有道实况OCR技术可以将身份证、护照等图片自动识别并转换为可编辑的文本格式，从而实现了身份认证的自动化。有道实况OCR技术是一种基于计算机视觉的图像识别技术，它可以自动识别图片中的文字信息，并将其转换为可编辑的文本格式。2、识别准确度高：有道实况OCR技术采用了多种先进的识别算法，并且对图片进行了预处理和增强，识别准确度较高。二、有道实况OCR技术的优势。
【OCR技术系列之四】基于深度学习的文字识别（3755个汉字）
weixin_34362991的博客
02-11 5210
上一篇提到文字数据集的合成，现在我们手头上已经得到了3755个汉字（一级字库）的印刷体图像数据集，我们可以利用它们进行接下来的3755个汉字的识别系统的搭建。用深度学习做文字识别，用的网络当然是CNN，那具体使用哪个经典网络？VGG?RESNET？还是其他？我想了下，越深的网络训练得到的模型应该会更好，但是想到训练的难度以及以后线上部署时预测的速度，我觉得首先建立一个比较浅的网络（基于LeNet的...
python毕业设计 深度学习OCR中文识别 - opencv python
kooerr的博客
04-14 548
🔥 这两年开始毕业设计和毕业答辩的要求和难度不断提升，传统的毕设题目缺少创新和亮点，往往达不到毕业答辩的要求，这两年不断有学弟学妹告诉学长自己做的项目系统达不到老师的要求。为了大家能够顺利以及最少的精力通过毕设，学长分享优质毕业设计项目，今天要分享的是🚩 **基于深度学习OCR中文识别系统 **🥇学长这里给一个题目综合评分(每项满分5分)难度系数：3分工作量：3分创新点：4分。
深度学习在OC中的应用
weixin_34195364的博客
06-29 428
背景 计算机视觉是利用摄像机和电脑代替人眼，使得计算机拥有类似于人类的对目标进行检测、识别、理解、跟踪、判别决策的功能。以美团业务为例，在商家上单、团单展示、消费评价等多个环节都会涉及计算机视觉的应用，包括文字识别、图片分类、目标检测和图像质量评价等方向。本文将通过以OCR（光学字符识别）的场景来介绍深度学习在计算机视觉中的应用。 基于深度学习的OCR 文字是不可或缺的视觉信息来源。相对于图像/视...
深度学习ocr文字识别模型
10-08
1. CRNN（Convolutional Recurrent Neural Network）模型：CRNN是一种基于深度学习的端到端OCR模型。它使用卷积神经网络（CNN）提取图像特征，并通过循环神经网络（RNN）进行序列建模和预测。CRNN模型在图像中识别...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值