OCR算法：CNN+BLSTM+CTC架构（VS15）

最新推荐文章于 2024-08-27 18:12:48 发布
最新推荐文章于 2024-08-27 18:12:48 发布
阅读量3.4k 收藏 4
点赞数
分类专栏： 时序/变长分析 ReinforceLearning ANN/DNN/纤维丛 StyleAI

原文链接：OCR算法-CNN+BLSTM+CTC架构

由于作者使用了Boost1.57-Vc14，而1.57的VC14版本作者没有给出下载链接，因此需要自行编译，建议换掉作者的第三方库，使用其他的库，比如：这篇文章：VS编译Caffe非常简单。网盘：3rdlibVC14。

有少量的改动，如有疑问，请移步原文，直接到作者GitHub界面...链接：https://github.com/senlinuc/caffe_ocr

另外一篇使用TensorFlow-LSTM的方法：TensorFlow-LSTM+CTC方法；代码在Github上。

实验结果：

       实测结果inception的准确率要比resnet高一些，ResNet把热情识别为然情，把温柔识别成温采.

主流ocr算法研究实验性的项目，目前实现了CNN+BLSTM+CTC架构

ocrlstmctcres-lstmdensenet

  1.  C++ 87.2%
  2.  Cuda 12.6%
  3.  Other 0.2%

C++Cuda Other

Clone or download Find file

Latest commit 93775fd 4 days ago

@senlinuc senlinuc Update README.md

 3rdparty1. add openblas; 2.add vs2015 projecta month ago
 caffe-vsprojremove ctc_loss_layera month ago
 examplesadd full-res-blstm networka month ago
 includefix reshape bug (batch size change)5 days ago
 srcfix reshape bug (batch size change)6 days ago
 toolscommit main codea month ago
 README.mdUpdate README.md4 days ago

 README.md

简介

caffe_ocr是一个对现有主流ocr算法研究实验性的项目，目前实现了CNN+BLSTM+CTC的识别架构，并在数据准备、网络设计、调参等方面进行了诸多的实验。代码包含了对lstm、warp-ctc、multi-label等的适配和修改，还有基于inception、restnet、densenet的网络结构。代码是针对windows平台的，linux平台下只需要合并相关的修改到caffe代码中即可。

caffe代码修改

 1. data layer增加了对multi-label的支持
 2. lstm使用的是junhyukoh实现的lstm版本（lstm_layer_Junhyuk.cpp/cu），原版不支持变长输入的识别。输入的shape由(TxN)xH改为TxNxH以适应ctc的输入结构。
 3. WarpCTCLossLayer去掉了对sequence indicators依赖（训练时CNN输出的结构是固定的），简化了网络结构（不需要sequence indicator layer）。
 4. densenet修改了对Reshape没有正确响应的bug，实现了对变长输入预测的支持。
 5. 增加transpose_layer、reverse_layer，实现对CNN feature map与lstm输入shape的适配

编译

  1. 安装opencv,boost,cuda,其它依赖库在3rdparty下（包含debug版的lib:http://pan.baidu.com/s/1nvIFojJ）
  2. caffe-vsproj下为vs2015的工程，配置好依赖库的路径即可编译，编译后会在tools_bin目录下生成训练程序caffe.exe
  3. 相关的依赖dll可从百度网盘下载（http://pan.baidu.com/s/1boOiscJ）

实验

  1. 数据准备
     （1）VGG Synthetic Word Dataset
     （2）合成的中文数据（http://pan.baidu.com/s/1c2fHpvE ）(包含中文语料库)
        
  •   数据为利用中文语料库（新闻+文言文），通过字体、大小、灰度、模糊、透视、拉伸等变化随机生成。
  •   字典中包含汉字、标点、英文、数字共5990个字符（语料字频统计，全角半角合并）
  •   每个样本固定10个字符，字符随机截取自语料库中的句子
  •   图片分辨率统一为280x32
  •   共生成约360万张图片，按9:1分成训练集、验证集（暂时没有分测试集）
  1. 网络设计：网络结构在examples/ocr目录下
  2. 主要实验结果
  • 英文数据集 VGG Synthetic Word Dataset:
网格结构predict-CPUpredict-GPU准确率-no lexicon准确率-lexicon-minctcloss模型大小
crnn67.13ms10.28ms0.84350.916332MB
inception-bn-res-blstm41.62ms8.68ms0.73530.860915MB
densenet-res-blstmN/A6.07ms0.75480.89311MB
  • 中文数据集:
网格结构predict-CPUpredict-GPU准确率模型大小
inception-bn-res-blstm65.4ms11.2ms0.9226.9MB
resnet-res-blstm64ms10.75ms0.9123.2MB
densenet-res-blstmN/A7.73ms0.96522.9MB
densenet-no-blstmN/A2.4ms0.975.6MB
densenet-sum-blstm-full-res-blstmN/A7.83ms0.980515.5MB
densenet-no-blstm-vertical-featureN/A3.05ms0.98169.6MB

中文数据集上训练好的模型：http://pan.baidu.com/s/1i5d5zdN

说明：

  •   CPU是Xeon E3 1230, GPU是1080TI
  •   densenet使用的是memory-efficient版本，其CPU代码并没有使用blas库，只是实现了原始的卷积操作，速度非常慢，待优化后再做对比。
  •   “res-blstm”表示残差形式的blstm，“no-blstm”表示没有lstm层，CNN直接对接CTC
  •   准确率是指整串正确的比例,在验证集上统计,"准确率-no lexicon"表示没用词典的准确率，"准确率-lexicon-minctcloss"指先在词典中查找Edit Distance <=2的单词，再选择ctcloss最小的单词作为识别结果
  •   predict-CPU/GPU为单张图片的预测时间，predict-CPU的后端是openblas，MKL比openblas快约一倍。中文数据集上图片分辨率为280x32，英文数据集100x32
  •   densenet-sum-blstm-full-res-blstm相对于densenet-res-blstm有两点改动：（1）两个lstm结合成blstm的方式由concat改为sum；（2）两层blstm都采用残差方式连接（CNN最后的Channel数改为与blstm结点数相同），最后得到了最高的准确率。
  •   densenet-no-blstm-vertical-feature相对于densenet-no-blstm去掉了1x4的pooling层，使得CNN最后一层的feature maps的高度为4，更好的保留笔画在垂直方向的变化信息，再reshape BxCxHxW --> Bx(CxH)x1xW串成高度为1的feature maps, 最后准确率上略好于之前的最好结果，可见CNN feature方面还有很多可挖掘的地方。
  1. 一些tricks
     （1） 残差形式的blstm可显著提升准确率，中文数据集上0.94-->0.965，两层BLSTM都用残差后又提升到了0.9805
     （2） 网络的CNN部分相对于BLSTM部分可以设置更高的学习率，这样可以显著增加收敛速度
  2. 疑问
     （1）去掉blstm，直接用CNN+CTC的结构，在中文数据集上也可以取得很高的准确率（densenet-no-blstm），为什么？
         可能的原因：a）CNN最后一层得到的特征对于字符级别的建模已经具有很好表征，b)lstm收敛较慢，需要更长的时间才能达到相同的精度。
  3. 现存的问题
     （1）宽度较小的数字、英文字符会出现丢字的情况，如“11”、“ll”，应该是因为CNN特征感受野过大没有看到文字间隙的缘故。

提高准确率TODO

 1. 数据方面: 增大数据量，语料库均匀采样(https://yq.aliyun.com/articles/109555?t=t1)
 2. 网络方面：增大网络（train、test loss很接近，现有网络没有过拟合），Attention,STN,辅助loss

引用

  1. crnn(https://arxiv.org/abs/1507.05717)
  2. multi-label的支持(http://blog.csdn.net/hubin232/article/details/50960201)
  3. junhyukoh实现的lstm版本（https://github.com/junhyukoh/caffe-lstm）
  4. caffe-warp-ctc(https://github.com/BVLC/caffe/pull/4681)
  5. memory-efficient densenet(https://github.com/Tongcheng/caffe/)
wishchin
关注
专栏目录
OCR算法：CNN+BLSTM+CTC架构（VS15）-附件资源
03-05
OCR算法：CNN+BLSTM+CTC架构（VS15）-附件资源
caffe_ocr：主流ocr算法研究实验性的项目，目前实现了CNN + BLSTM + CTC架构
02-22
caffe_ocr是一个对现有主流ocr算法研究实验性的项目，目前实现了CNN + BLSTM + CTC的识别架构，并在数据准备，网络设计，调参等方面进行了很多的实验。代码包含了对lstm ，warp-ctc，multi-label等的适应和修改，还...
基于 CNN5 / DenseNet+BLSTM_LSTM+CTC 来实现验证码识别.zip
05-10
基于 CNN5 / DenseNet+BLSTM_LSTM+CTC 来实现验证码识别 基于 CNN5 / DenseNet+BLSTM_LSTM+CTC 来实现验证码识别 基于 CNN5 / DenseNet+BLSTM_LSTM+CTC 来实现验证码识别 基于 CNN5 / DenseNet+BLSTM_LSTM+CTC 来实现验证码识别 基于 CNN5 / DenseNet+BLSTM_LSTM+CTC 来实现验证码识别 基于 CNN5 / DenseNet+BLSTM_LSTM+CTC 来实现验证码识别 基于 CNN5 / DenseNet+BLSTM_LSTM+CTC 来实现验证码识别 基于 CNN5 / DenseNet+BLSTM_LSTM+CTC 来实现验证码识别 基于 CNN5 / DenseNet+BLSTM_LSTM+CTC 来实现验证码识别 基于 CNN5 / DenseNet+BLSTM_LSTM+CTC 来实现验证码识别 基于 CNN5 / DenseNet+BLSTM_LSTM+CTC 来实现验证码识别 基于 CN
主流ocr算法：CNN+BLSTM+CTC架构
热门推荐
计算机视觉算法、工程、产品
11-18 4万+
ocr算法研究实验性的项目，目前实现了CNN+BLSTM+CTC架构 链接：https://github.com/senlinuc/caffe_ocr 主流ocr算法研究实验性的项目，目前实现了CNN+BLSTM+CTC架构 ocrlstmctcres-lstmdensenet  41 commits  1 branch  0
深度学习CV学习（OCR）
qq_54534211的博客
08-27 1149
CRNN借鉴了语音识别中的LSTM+CTC，不同点是输入进LSTM的特征由语音领域的声学特征，替换为CNN网络提取的图像特征向量。特别适用于对图像中的序列文本进行识别。其核心思想是利用CNN提取图像特征，然后通过RNN进行序列推理，从而实现对文本的识别。
验证码终结者-基于CNN+BLSTM+CTC的训练部署套件
02-08 3611
1 定义一个模型 本项目采用的是参数化配置，不需要改动任何代码，可以训练几乎任何字符型图片验证码，下面从两个配置文件说起： config.yaml # 系统配置 # - requirement.txt - GPU: tensorflow-gpu, CPU: tensorflow # - If you use the GPU version, you need to install some additional applications. # TrainRegex and TestRegex: Def
实战 | CNN+BLSTM+CTC的验证码识别从训练到部署
Jerry的编程之路
03-31 626
点击上方“Jerry的算法和NLP”，选择“星标”公众号 重磅干货，第一时间送达项目传送门：https://github.com/kerlomz/...
CNN+LSTM+CTC
数据科学汇集
04-25 9523
需求：调研CNN+LSTM+CTC的实现解决方案; 参考github实现示例代码：#!/usr/bin/env python2 # -*- coding: utf-8 -*- """ tf CNN+LSTM+CTC 训练识别不定长数字字符图片 @author: pengyuanjie """ from com.shenl.ocrTensorflowCnn.genIDCard import * ...
主流ocr算法研究实验性的项目，目前实现了CNN+BLSTM+CTC架构
11-03
本项目聚焦于主流的OCR算法研究，特别关注了CNN（Convolutional Neural Network，卷积神经网络）、BLSTM（Bidirectional Long Short-Term Memory，双向长短时记忆网络）以及CTC（Connectionist Temporal ...
基于CNN+BLSTM+CTC算法的验证码识别平台部署模型设计源码
最新发布
10-05
该项目为基于CNN+BLSTM+CTC算法的验证码识别部署模型设计源码，包含56个文件，其中包括37个Python源代码文件、4个配置文件、4个文本文件、2个图标文件、1个Docker配置文件、1个Git忽略文件、1个配置文件、1个YAML...
实战：CNN+BLSTM+CTC的验证码识别从训练到部署 | 技术头条
AI科技大本营
04-23 3738
作者|_Coriander转载自Jerry的算法和NLP（ID: gh_36eba310d433）1.前言本项目适用于Python3.6，GPU>=NVIDIA G...
基于CNN5DenseNetBLSTMLSTMCTC来验证码识别
08-11
This project is based on CNN5/DenseNet BLSTM/LSTM CTC to realize verification code identification（验证码识别）. This project is only for training the model.
OCR：图文结构理解探索和实践.pdf
05-10
阿里2019年云栖大会材料，关于计算机视觉如何通过OCR实现图文结构的理解和探索。同时是图片数据结构化的基础，端到端的低成本标注方案 结合空间和语义的结构理解，通用kv模板:提取各式卡证结构；用户输入: 100-200张标注样本；
imdb_cnn_lstm.py例子
01-28
keras 官方例子，深度学习专用，机器学习专用，代码简单，
基于深度学习Tensorflow的银行卡号识别项目.zip
01-16
下载源码 下载模型，CRNN 提取码：6eqw， EAST 提取码：qiw5 卡号识别模型放置于crnn/model（建立model文件夹），卡号定位模型放置于east/model 使用PyCharm打开（或其他IDE），或者直接执行python demo.py 出现GUI后即可使用（操作见下文） 实现功能与方法 卡号识别（CNN-BLSTM-CTC）、卡号定位 （EAST）、交互界面 （PyQt5） 实现工具及平台 Windows 10 x64、Python 3.6（Anaconda）、Tensorflow-gpu 1.8.0、Keras 2.1.6、NVIDIA GeForce GTX 1050
基于CNN+LSTM+CTC的不定长数字仪表识别（一）
hohai666的博客
10-09 1519
最近在做一个项目的某个模块，主要涉及文字识别的相关技术，文字识别主要分为两个步骤，文字检测与识别，本文主要针对文字识别的板块搭建模型，主流的就要属CRNN+CTC了。今天就送上案例实操，也是自己动手搭建的，分享一点心得。 做的过程中也是查看了许多相关文献和网站，这里主推一篇知乎文章，讲的真的很好，附上链接：一文读懂CRNN+CTC文字识别 要实现文字识别的最终落地，包括搭建模型，构造自己的datasets，然后开始training，本文先讲搭建模型。 废话不多说，直接上code。 在这里插入代码片impor
OCR知识框架构建（文本检测、文本识别、End2End）（更新中）
qq_28057379的博客
01-06 1581
1、CRNN+CTC 2、CRNN+Attention 3、CRNN+ADE 解码方式不同而已
时序预测 | MATLAB实现CNN-BiLSTM(卷积双向长短期记忆神经网络)时间序列预测
关注并私信文章链接，获取对应文章源码和数据，机器学习之心的博客。
10-11 2688
时序预测 | MATLAB实现CNN-BiLSTM(卷积双向长短期记忆神经网络)时间序列预测
软件工程应用与实践（二）：Paddle OCR的框架与技术初识
pinkray_c的博客
10-10 3232
2021SC@SDUSC 目录 前言 一、pandas是什么？ 二、使用步骤 1.引入库 2.读入数据 总结 一、Paddle OCR的介绍 提示： OCR (Optical Character Recognition)是 一 种以自动识别图像 中的文本为目标的技术，如图 1 所示，其研究历史悠久， 应用范围广泛，如文件电子化、身份认证、数字金融系 统、车牌识别等。此外，在工厂中，通过自动ᨀ取产品的 文本信息，可以更方便地管理产品。学生的线下作业或试
深度学习与语音识别：LSTM+CTC技术解析
"LSTM+CTC详解" LSTM（Long Short-Term Memory）是一种特殊的循环神经网络（RNN），设计用于解决传统RNN在处理序列数据时遇到的梯度消失和梯度爆炸问题。LSTM通过引入输入门、输出门和遗忘门来控制信息流，使得模型...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值