基于深度学习的自然场景文字识别系统研究 faster-RCNN + CRNN （一）

已于 2022-02-16 08:45:18 修改
阅读量4.3k 收藏 14
点赞数 1
分类专栏： 深度学习 文章标签： 深度学习 人工智能 计算机视觉 图像识别
于 2022-02-16 08:34:50 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/dzcera/article/details/122955738
版权

1引言

近年来，基于深度学习的OCR技术在文字识别的精准度和效率上有着显著的提升，而场景OCR技术还需要进一步完善。目前主流的自然场景文字识别主要分为两个部分，即文字检测和文字识别。1）在文字检测方面，目前在水平文字检测和斜向文字检测方面均有较为成熟的研究成果。乔宇团队发表的CTPN算法在水平文字检测方面取得了不错的效果，EAST和Seglink算法可用于检测斜向文字。2）在文字识别方面，主流的是CNN+RNN+CTC模型。此外仍有不少团队将Attention机制运用到文字识别当中，强化了网络挖掘文本特征信息的能力。目前自然场景文字识别的准确率仍然不高，本项目将在已有深度学习模型的基础上，进一步改进文字检测和文字识别算法，以能达到较好的识别效果。
整体以将识别的文字串进行切分整合，成为逐个单个文字进行识别输出。全过程从对原始识别文字图像开始进行第一步处理，将图像中的多余的冗杂信息进行清除，其次进行切分整理，将其拆分。此过程中需要判断不符合条件的图像进行处理，最后进行分类识别，输出结果。

2faster-RCNN

2.1faster-RCNN使用方法
  1. 利用RPN提取整张测试图像
  2. 利用CNN对 整张测试图像的区域进行特征提取，不再像RCNN进行在整张测试图像上划分区域分别进行特征提取
  3. 利用RPN生成Anchor box，对测试图像进行识别切分整合，过滤后通过softmax判断测试图像类别，进行二分类，此时将softmax与CNN进行整合，使其处于同一个网络中，在区域特征提取的同时进行物体的类别判定，以提高效率
  4. 通过Rol pooling层进行feature map的尺寸固定
  5. 利用多任务损失函数进行分类概率和边框回归联合训练
2.2FASTER-RCNN 整体框架

测试图像提取 生成待测候选区域 CNN特征提取 softmax二分类 尺寸固定 位置精修
在这里插入图片描述
图 1 Faster R-CNN模型
在这里插入图片描述
图 2 Faster R-CNN整体流程

由此可得，Faster R-CNN算法主要由三部分构成：
1、数据集image input：对测试图像的提取
2、RPN候选框提取：对测试图像的特征进行分析提取
3、Faster R-CNN检测目标部分

2.3Region Proposal Network
2.3.1核心思想

RPN的核心思想是使用CNN卷积神经网络直接产生Region Proposal，使用方法是滑动窗口，anchor机制和边框回归可以得到多尺度多长宽比的Region Proposal。
RPN网络是全卷积网络，可以针对生成检测建议框的任务端到端地训练，能够同时预测出object的边界和分数。
传统物体检测算法是使用滑动窗口进行原图扫描后提取各个窗口特征，RPN根据此思路，加以修改，以共享卷积层的运算、提高效率为目的，通过一个矩形窗口和每个特征点作为中心进行扫描，即利用滑动窗口中存在一个小网络，用来判断矩形窗口内是否存在需要计算机识别的物体。

2.3.2整体流程框架

在这里插入图片描述
图 3 RPN框架

测试图像进入RPN后，对其进行特征提取分割整合。

在这里插入图片描述
图4

如上图中标识：
① rpn_cls：对测试图像的特征进行分类
② rpn_bbox：获得测试图像特征的坐标位置信息

逐像素Bbox回归纠正
通过计算anchor box与ground truth之间的偏移量进行学习分析，进一步对特征提取部分Anchors进行相关条件的判断，进行越界部分和重叠部分的剔除。

2.3.3平移不变性

即在测试图像的分辨率、比例不同的情况下利用此类操作，在同一个权值的网络中进行正确的识别。比如人脸识别中，小的人脸(2424的分辨率)和大的人脸(1080720)如何在同一个训练好权值的网络中都能正确识别。
Faster R-CNN方法：通过卷积核中心生成九种不同比例的特征提取图像框，即平移不变性的应用，使在不同场景中具有不同比例的文字提取中均可正确识别输出结果。
利用此种性质，也可以防止一些重要窗口被遗漏，造成数据丢失。

3CRNN

3.1特点

1）直接识别提取图像的序列，不论是单个文字图像或是多个文字图像的拼接
2）具有直接从原始图像数据提取特征信息的能力
3）存在对于测试图像的前期类似切割整合的预处理操作
4）可以产生序列标签
5）不要求序列的长度固定，可以任意长度，只需保证测试图像中数据高度相同
6）具有更少的参数，尺寸更小

3.2网络结构

在这里插入图片描述
图 5 CRNN整体结构
CRNN网络由三个主要部分组成：卷积层Convolutional layers、循环层Recurrent layers、转录层Transcription layer。

Convlutional Layers卷积层，一个普通的CNN网络，用于提取测试图像的基本特征；
Recurrent Layers循环层，一个深层双向LSTM网络，用于继续提取文字序列中所包含的特征，并为转录层作准备；
Transcription Layers转录层，接收到循环层的信息，转换成文字，用于最后结果输出

三个部分的作用分别为：
1、卷积层：对图像进行深层特征的提取，找到特有属性，并整合将信息交送至循环层
在这里插入图片描述
要求输入图像的数据等高，才可产生特征序列

2、循环层：产生每个文字的特征序列每一帧的预测值，将所拥有的信息交送至转录层

在这里插入图片描述
图 7
3、转录层：将循环层生成的帧预测序列通过转换成为单个文字进行输出最终结果

下文链接
https://blog.csdn.net/dzcera/article/details/122955774

我不是zzy1231A
关注
  • 1
    点赞
  • 踩
  • 14
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
场景文本检测与识别：最新进展及未来趋势
weixin_42715287的博客
10-28 5108
Scene text detection and recognition: recent advances and future trends 文章目录摘要1、介绍2.场景文本检测与识别的最新进展2.1 场景文本检测相关工作2.2 场景文本识别相关工作2.3 端到端文本识别相关工作2.4 场景文本检测与识别的相关应用及产品3 基准数据集和评估协议3.1基准数据集3.2评估协议3.2.1文本检测算法的评估协议3.2.2 文本识别算法的评估协议4讨论5 结论 摘要 文本作为人类最具影响力的发明之一，在人类生
深度学习文字识别
aohun0743的博客
08-11 5973
Blog：https://blog.csdn.net/implok/article/details/95041472 步骤： 文字识别是AI的一个重要应用场景，文字识别过程一般由图像输入、预处理、文本检测、文本识别、结果输出等环节组成。 分类：文字识别可根据待识别的文字特点采用不同的识别方法，一般分为定长文字、不定长文字两大类别。 定长文字（例如手写数字识别、验证码），由...
基于深度学习的手写字符识别研究
qq_1406299528的博客
04-01 904
5.1 总结汉字种类繁多、书写风格因人而异、形近字在中文汉字中也占有较大的比重，这些问题都使得汉字识别困难重重。但是近些年来，随着深度学习的发展，在各个领域，尤其是图像领域收获了巨大成功，特别是卷积神经网络在提取特征方面的优越性极大促进了图像分类任务等一些课题的突破。也正是结合当下研究的趋势，本文使用深度学习的方法对手写汉字进行识别，本文的内容主要包括以下几点：1.调研了光学字符识别的发展历程，同时调研了手写体字符识别，尤其是手写中文汉字识别的国内外研究现状，并对本文主要内容加以详细阐述。
CNN+RNN
热门推荐
haqsyf的专栏
08-25 1万+
CNN,RNN(recurrent, 下同)结合到一起可以建立一个更好的model 1. CRNN（先CNN，后RNN） References: An End-to-End Trainable Neural Network for Image-based Sequence Recognition and Its Application to Scene Text Recogni
RCNN和CRNN
qq_44023162的博客
01-09 433
即在图像中识别和定位物体。首先，使用选择性搜索等方法生成候选区域，然后对每个候选区域应用卷积神经网络（CNN）来提取特征，最后使用分类器和回归器对这些特征进行目标分类和定位。典型的应用包括图像中的文字识别（OCR，Optical Character Recognition）和语音识别，其中CRNN能够同时考虑到文本的局部特征和全局上下文。RCNN的后续版本包括Fast R-CNN和Faster R-CNN，这些方法在提高速度和精度方面进行了改进。CNN提取序列中的局部特征，RNN捕捉序列中的上下文关系。
CRNN论文笔记
flashTianjiao的博客
09-21 4636
CRNN是《An End-to-End Trainable Neural Network for Image-based Sequence Recognition and Its Application to Scene Text Recognition》中提出的模型，解决图像中文字识别问题。 论文地址：https://arxiv.org/abs/1507.05717 github地址：http
基于深度学习的文字识别【DB+CRNN+PyQt5界面实现】
weixin_40280870的博客
08-12 1214
随着计算机技术的不断发展和完善，利用计算机图像处理技术对目标自动识别的技术研究具有现实意义，如文字文字识别系统， 基于深度学习的文字识别方法，采用DB算法进行文字定位和CRNN算法进行文字识别，并使用Paddle作为框架实现。首先，基于DB算法进行文字定位，DB算法具有自适应阈值和标注生成的特性，能够有效地检测和定位文字区域。通过学习图像中的文字和非文字区域，DB算法能够生成准确的文字边界框，为后续的文字识别提供准确的输入。其次，基于CRNN算法进行文字识别。本文选择Paddle作为深度学习框架。
基于深度学习faster-rcnn+deepsort的人流量检测系统源码+项目开发说明.zip
05-14
基于深度学习faster-rcnn+deepsort的人流量检测系统源码+项目开发说明.zip个人经导师指导并认可通过的高分毕业设计项目，主要针对计算机相关专业的正在做毕设的学生和需要项目实战练习的学习者。也可作为课程设计、...
faster-rcnn+fpn+resnet+目标检测
04-07
标题中的“faster-rcnn+fpn+resnet+目标检测”是一个深度学习领域的概念组合，涉及到四个关键部分：Faster R-CNN、FPN（Feature Pyramid Network）、ResNet以及目标检测。让我们逐一深入探讨这些知识点。 1. **目标...
基于faster-rcnn的车辆检测识别系统代码大全.doc
10-19
综上所述，这个基于Faster R-CNN的车辆检测识别系统利用深度学习技术，通过精心准备的数据集和强大的计算资源，实现了对行车记录仪视频中车辆的高效检测和分类。系统流程包括数据预处理、特征提取、分类和检测，所有...
CRNN介绍：用于识别图中文本的深度学习模型
是我的博客
02-07 3755
在计算机视觉和机器学习的领域中，文本识别是一个重要的研究领域，它旨在从图像中检测和识别文字。CRNN（Convolutional Recurrent Neural Network，卷积递归神经网络）是这个领域内的一个代表性的框架，它融合了卷积神经网络（CNN）和递归神经网络（RNN），特别适用于对图像中的序列文本进行识别。
基于深度学习的文字识别【研究综述】
weixin_40280870的博客
08-06 2527
深度学习文字识别的可行性分析基于以下几个方面：数据可用性：深度学习方法通常需要大量的标注数据进行训练。在文字识别领域，可以利用公开的文字数据集，如ICDAR等，或者自行构建和标注数据集。如果可以获取足够的高质量数据，深度学习文字识别的可行性就会得到支持。算法模型和技术发展：深度学习在文字识别领域取得了显著的进展，出现了许多成功的算法模型和技术，如CRNN、Transformer等。这些模型和技术在各种文字识别任务上取得了优秀的性能，验证了深度学习文字识别的可行性。
图像文字识别初探(一)-CRNN(Convolution Recurrent Neural Network)和DTRN(Deep-text Recurrent Network)
陶将的博客
12-07 4343
最近参加了一个图像文字识别比赛，之前没有接触过这个方向，所以经过多方查找，目前选定五篇论文，希望能从这五篇论文中找出能解决的方法。 图像文字识别初探(一)-CRNN(Convolution Recurrent Neural Network)和DTRN(Deep-text Recurrent Network) 图像文字识别初探(二)-FAN(Focusing Attention Network)...
软件工程毕设 基于深度学习的中文汉字识别 - 深度学习 卷积神经网络 机器视觉 OCR
m0_76217654的博客
12-16 805
最近在帮一位同学做中文汉字识别项目，学长在这记录和发布一些项目相关知识基础和部分实现，欢迎同学们讨论学习🧿。
文本识别 CRNN
weixin_51691064的博客
04-18 1118
OCR模型原理总结—RCNN
天池——街景字符编码识别 3
weixin_43332422的博客
05-27 372
字符识别模型 目前主流的模型有CNN（卷积神经网络），RCNN（region with CNN features），Fast-RCNN，Faster-RCNN，YOLO等等 模型简介 CNN : 卷积神经网络 卷积神经网络（Convolutional Neural Network, CNN）是一种前馈神经网络，它的人工神经元可以响应一部分覆盖范围内的周围单元，对于大型图像处理有出色表现。是以卷积为核心的一大类网络。 特点：由一个或多个卷积层和顶端的全连通层（对应经典的神经网络）组成，同时也包括关联权重和池化
【OCR技术系列之五】自然场景文本检测技术综述（CTPN, SegLink, EAST）
weixin_33762321的博客
10-12 2355
文字识别分为两个具体步骤：文字的检测和文字的识别，两者缺一不可，尤其是文字检测，是识别的前提条件，若文字都找不到，那何谈文字识别。今天我们首先来谈一下当今流行的文字检测技术有哪些。 文本检测不是一件简单的任务，尤其是复杂场景下的文本检测，非常具有挑战性。自然场景下的文本检测有如下几个难点： 文本存在多种分布，文本排布形式多样； 文本存在多个方向； 多种语言混合。 我们先从直观上理解文本检测任...
基于深度学习的自然场景文字识别系统研究 faster-RCNN + CRNN （二）
dzcera的博客
02-16 2978
4实验结果及设置 4.1数据集 本文采用ICDAR2013，ICDAR2015数据集并将ICDAR2013，ICDAR2015 dataset 转化为 PASCAL_VOC dataset 格式对于模型进行训练和验证。其中ICDAR2013数据集样本多为自然场景水平字符，同时包含字符图片和单词图片，训练集共有3567张裁剪后的图片，测试集共有1439张裁剪后的图片。ICDAR2015数据集样本多为复杂自然场景中倾斜模糊等受背景影响较大的图片。 4.2本文实验环境 本文实验开发环境为Intel i7-9750
使用Faster_RCNN做文本检测
datayx的文章
05-30 1337
向AI转型的程序员都关注了这个号????????????机器学习AI算法工程 公众号：datayx软件支持:python2.7tesnsorflow_gpu, cython, pyt...
基于faster-rcnn进行人脸识别的完整代码
最新发布
06-05
基于Faster R-CNN进行人脸识别的完整代码可能比较复杂，但可以简要介绍该过程： 首先，需要准备训练数据集和测试数据集。训练数据集应该包含人脸图像和对应的标注框信息。测试数据集是用来验证模型准确性的。 其次...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值