OCR检测方法（一）——TextBoxes与TextBoxes++算法详解

最新推荐文章于 2024-04-10 09:47:44 发布
最新推荐文章于 2024-04-10 09:47:44 发布
阅读量2.4k 收藏 12
点赞数
分类专栏： PYTHON 深度学习 ocr 文章标签： 文本检测 OCR textboxes textboxes++
PYTHON 同时被 3 个专栏收录
105 篇文章 4 订阅
订阅专栏
深度学习
84 篇文章 6 订阅
订阅专栏
ocr
44 篇文章 6 订阅
订阅专栏

转载自：TextBoxes与TextBoxes++算法详解
尊重原创，请看原文

文章目录

TextBoxes

《TextBoxes: A Fast Text Detector with a Single Deep Neural Network
》发表于AAAI2017
github地址：https://github.com/MhLiao/TextBoxes

这篇文章是借鉴SSD的网络用于文字检测，创新也不是太大。还有一点要清楚的是作者设计该网络的时候是将该网络作为word-based这一类来做的，就是说该算法设计初衷是针对词分割的，这里说的词应该是对于英文来说的。

一、网络结构

网络结构如下图所示，该网络结构就是将SSD中的全连接去掉换成卷积，并且为了适应文字检测的任务（考虑到文字的长宽比不同于物体，可能长宽比较大）使用15的卷积核代替33的卷积核。还有default boxes的比例也不同于SSD，采用1、2、3、5、7、10几种。得到的default boxes后使用SSD一样的回归方式回归出可能的结果。
在这里插入图片描述

还有一个不同于SSD的地方，因为文中采用了不一样尺寸的default boxes，这些尺寸都是细长形的，这样可能导致default boxes在水平方向密集在垂直方向上稀疏，从而导致检测不准确。为了解决上述问题，文中给每个default box加上垂直偏移，如下图所示。下图中为了便于观看只显示了宽高比为1和5的default box，其余比例的box以此类推。图中黑色框（宽高比为5的框）和蓝色框（宽高比为1的框）是中心在cell中心的default box，绿色（宽高比为5的框）和红色（宽高比为1的框）的框中心位于cell中心加上cell一半高的位置。
在这里插入图片描述

二、损失函数的定义

在这里插入图片描述

TextBoxes++

《TextBoxes++: A Single-Shot Oriented Scene Text
Detector》发表于AAAI2018
github地址：https://github.com/MhLiao/TextBoxes_plusplus

从名字就可以看出，该文章是上面TextBoxes的一个扩展，扩展在TextBoxes只可以检测水平文本，而TextBoxes++可以检测多角度的文本，但该方法也是基于SSD结构且是针对词来检测的（word-based）。

一、网络结构

不同于TextBoxes，为了更好的对多角度文本进行检测，文章做了三个改动，一是改了default box的宽高比，使用1、2、3、5、1/2、1/3、1/5;二是将15的卷积核改为35用来生成text box layers，三是网络的输出不同（这点会在ground truth中介绍）。框架与TextBoxes是一样的，如下图所示。
在这里插入图片描述

类似于TextBoxes，因为使用的是细长形的default boxes，这样可能导致default boxes在水平方向密集在垂直方向上稀疏，从而导致检测不准确。为了解决上述问题，文中给每个default box加上垂直偏移，如下图所示。
在这里插入图片描述

二、网络的输出及ground truth的表示

网络输出
网络的输出是为了适应多角度的文本而相对于SSD和TextBoxes做了一些更改。网络输出一系列的多角度文本框使用{q}或者{r}集合表示，同时输出对应与多角度文本框的最小外界水平矩形框使用{b}集合表示。

多角度文本框是通过default box回归得到的，如下图表示，图中绿色虚线表示与ground truth匹配的default box，黄色框表示ground truth，红色箭头表示回归的方向，黑色框表示未匹配到真值的default box，绿色实线框表示对应与ground truth的最小外界水平矩形框。
在这里插入图片描述
在这里插入图片描述
ground truth的表示

a) 对于采用四点坐标表示的文本框

水平框的ground truth就是标定框的外界水平矩形，且该矩形的四个点是顺时针排列的，第一个点为矩形的左上角点

文本框的ground truth就是标定的框，但是规定文本框的四个点也为顺时针排列，第一个点为左上角点，这里左上角点的定义为将文本框与水平框的四个点按照顺时针方向计算四点的距离和（这里需要计算四次）。当距离和最小的那次，与水平框左上角点对于的点为文本框的第一个点。

b)对于采用两个点和一个高来表示的文本框（旋转矩形）

水平框获得方法同a)

文本框的获得，先按照a)中的方式确定出文本框的左上和右上点，高为旋转矩形的高

三、损失函数的定义

损失函数同TextBoxes

TextBoxes++还有一些数据增强的方法和其他实验，详细可以查看原文

自己的总结

textboxes

  1. 两种方法都是在SSD的基础上做修改，所以要理解SSD的相关思路
  2. 相对SSD修改了default boxes的长宽比
  3. 网络中最后一层采用1×5的conv，（考虑到文字比较长）
  4. default box在ssd的基础上加了垂直偏移，所以default box会是ssd的两倍

textboxes++

  1. 还是采用同样的default box生成策略
  2. 修改了default box的宽高比
  3. 预测输出的最后一层conv的卷积核改为了3×5
  4. 网络的输出有两种形式，输出4个点，8个值的要好理解一些

疑问

  • 为default box指定label的时候采用的是计算矩形IOU
  • default box太多了，动不动就是100w，实时性是大问题
农夫山泉2号
关注
专栏目录
【深度学习】OCR结果文字框排序，Z字排序，PaddleOCR结果z字排序，Python代码
q742971636的博客
08-19 81
在OCR应用中，特别是处理包含多行文本的图像时，文本框的顺序往往并不满足人类的自然阅读习惯（即从左到右，从上到下的Z字形顺序）。例如，当我们处理一个包含多个文本块的复杂文档时，OCR可能会将这些块按照它们在图像中的出现顺序进行排列，但这与我们实际阅读时的顺序可能大相径庭。为了优化OCR的输出，使其更加直观和易于理解，我们需要对这些文本框进行重新排序，以符合人类的阅读习惯。这种排序通常被称为Z字形排序，具体过程如下。
开源OCR文本检测器，基于TextBoxes++和RetinaNet
jacke121的专栏
11-19 2691
开源OCR文本检测器，基于TextBoxes++和RetinaNet 权重都比较大： https://github.com/qjadud1994/Text_Detector/tree/master/Pytorch/weights
TextBoxes_icdar13.caffemodel
01-17
OpenCV-contrib的text模块中text_recognition_cnn.cpp运行所需的TextBoxes_icdar13.caffemodel～
论文笔记：TextBoxes: A Fast Text Detector with a Single Deep Neural Network
Learning from the mistakes
09-14 8296
感想 这是一篇关于自然场景下文本检测的论文，用了一个深度神经网络来对图片文本进行检测，还发到AAAI顶会上了，可谓真了不起。文本用了一个网络解决了对不同比例，纵横比图片的文本检测，训练的方式是端到端的，最开始还用了16年人工合成的数据集进行预训练，合成训练集的文章为《Synthetic Data for Text Localisation in Natural Images》，也是一篇顶会文章，
文本检测算法:TextBoxes（AAAI2017）
AI-Mei的博客
10-18 1878
多种文本检测算法性能对比 (https://blog.csdn.net/qq_39707285/article/details/108754444) TextBoxes: A Fast Text Detector with a Single Deep Neural Network1. 论文要点 1. 论文要点 提出了一个end-to-end可训练的快速文本检测算法，叫做 TextBoxes，能后一阶段的完成检测任务，在准确性和高效性方面都表现优异，且该算法除了NMS，没有使用任何的后处理步骤。 TextB
TextBoxes与TextBoxes++算法详解
Michael’s Blog
01-30 6233
这是两篇文章，因为这两篇文章大部分是相同的所以写一块了。 TextBoxes 《TextBoxes: A Fast Text Detector with a Single Deep Neural Network 》发表于AAAI2017 github地址：https://github.com/MhLiao/TextBoxes 这篇文章是借鉴SSD的网络用于文字检测，创新也不是太大。还有一点要清楚的...
TextBoxes 与 TextBoxes ++
weixin_33749131的博客
11-07 300
TextBoxes 论文关键idea 本文和SegLink一样，也是在SSD的基础上进行改进的．相比SSD做了以下的改进： 修改了default box的apect ratio，分别为[1 2 3 5 7 10]，目的是适应文本行长度比较长，宽度比较短的特性，也就是说现在的default box是长条形 提出了text-box层，修改classifier卷积核的大小为  ，而SSD中卷积核的大小...
TextBoxes++
u013102349的博客
03-13 6264
TextBoxes++是基于SSD和TextBoxes的。论文：https://arxiv.org/pdf/1801.02765.pdf前言文本检测和其他物体检测的区别：(1) 文本检测有比较大的长宽比；(2) 一半的convolutional filter无法全部检测到；可能的解决方案：(1) 长的卷积核；(2) inception convolutional kernels;(3) part ...
[text detecte] Textboxes++
风吴痕的博客
06-30 425
https://www.cnblogs.com/lillylin/p/9955264.html 文章目录方法亮点方法概述方法细节Default box预测四边形和倾斜矩形其他细节点 方法亮点 把原本只能做水平的TextBoxes改为可以预测任意四边形的多方向文本检测 除了常规的分类、回归损失，还增加了四边形的最外接矩形的回归损失（增加监督信息量） 方法概述 本文方法是对TextBoxes（水平文字检测）进行改进，用于多方向文字检测。和SSD一样，该方法是one-stage的端到端模型，测试时只需运行网.
目标检测之模型篇（8）【TextBoxes/TextBoxes++】
点点的博客
11-19 5364
文章目录1. 前言2. TextBoxes模型3. TextBoxes++模型3.1模型结构3.2 default boxes3.3 调整GT3.4 损失函数3.5 On-line hard negative mining3.6 数据增广3.7 多尺度训练3.8 有效级联NMS3.9 结果4. 总结5. 参考文献 1. 前言 上篇看到Seglink模型，这次看TextBoxes/TextBoxes...
《TextBoxes++: A Single-Shot Oriented Scene Text Detector》论文笔记
m_buddy的博客
04-20 1897
1. 概述 这篇文章给出的方法是为了解决旋转文本检测的问题，因而文章的方法TextBoxes++是能够检测倾斜文本的，该方法检测文本是通过带角度的矩形框或是四边形框来表示的。由于该方法是源自于SSD的，因而这个网络是直通的，并不是类似Faster R-CNN的谅解网络，自然速度就很快了，作者在分辨率为1024∗10241024*10241024∗1024分辨率的ICDAR 2015数据集上测得11...
探索技术创新：TextBoxes++ - 强大的文本框检测框架
最新发布
gitblog_00068的博客
04-10 388
探索技术创新：TextBoxes++ - 强大的文本框检测框架 项目地址:https://gitcode.com/MhLiao/TextBoxes_plusplus 在计算机视觉领域，文本检测是关键的一环，它被广泛应用于文档理解、自动驾驶和图像信息提取等多个场景。今天，我们将深入探讨一个名为TextBoxes++的开源项目，它是基于深度学习的高效文本框检测器，旨在提供更准确、更快的文本检测解决方案...
计算机视觉系列-文本检测PixelLink、Textboxes、Textboxes++算法（5）
段智华的博客
02-07 378
计算机视觉系列-文本检测PixelLink、Textboxes、Textboxes++算法（5） 计算机视觉系列-文本检测EAST、SegLink算法 https://duanzhihua.blog.csdn.net/article/details/113727086 计算机视觉系列-文本检测FTSN DMPNet算法 https://duanzhihua.blog.csdn.net/article/details/113719746 计算机视觉系列-文本检测CTPN、RRPN算法 https://duan
【论文速读】XiangBai_TIP2018_TextBoxes++_A Single-Shot Oriented Scene Text Detector
weixin_30508309的博客
11-13 233
XiangBai_TIP2018_TextBoxes++_A Single-Shot Oriented Scene Text Detector 作者和代码 Minghui Liao, Baoguang Shi, Xiang Bai, Senior Member, IEEE caffe检测torch7识别代码 关键词 文字检测、多方向、SSD、四个点、one-stage、开源 方法亮点 把原本只能...
【Paper Reading】【TextBoxes: A Fast Text Detector with a Single Deep Neural Network】
Ocelot777的博客
03-08 285
Introduction： 传统文本检测方法步骤： 1) character/word candidate generation：候选词的产生 2) Candidate filtering：候选词过滤 3) grouping：分组 弊端：需要保证每一个模型都正常工作，从而需要耗费大量精力调参和设计启发式规则，这同样也会减慢检测速度 本文：通过一个端对端训练的单一神经网络直接预测单词boundin...
TextBoxes++ 论文阅读笔记一
luo841297935的博客
03-30 640
一. 解决的问题 针对自然场景中多方向,小尺度,极端宽高比的快速文本检测问题,提出的一种one stage端到端训练的文本检测方法,只需非极大值抑制一种后处理方法即可获得最终结果.最后通过CRNN文本识别修正检测结果,达到SOTA效果. 二. 前言 对比于传统OCR,自然场景的文本检测面临着以下问题: 1). 前背景物体变化巨大(理解为不同场景的自然文本差异巨大,背景差异巨大); 2). 文本方向...
TIP2018《TextBoxes++: A Single-Shot Oriented Scene Text Detector》论文阅读笔记
ryERO的博客
12-01 409
这篇论文是华科白翔老师组的工作，AAAI上也有一个版本，但是一般期刊的实验做得多一些，描述也更细致，所以本文以其在TIP上的版本为准。
TextBoxes++论文解读
u012433049的博客
10-06 6324
最近拜读了白翔老师等的巨著TextBoxes++，现给出我看完论文之后的理解，和大家一起研究研究，小女子才疏学浅，如有错误，请多多指教，望不要嫌弃！（没有大片时间来写，可能需要一段时间完成） 大家知道我们所知道的目标检测检测的目标框默认是矩形框，常见的物体检测，这种矩形框检测可能对物体识别的影响不是很大，但在图像中文字检测识别来说，检测非矩形框的文字区域对后面的识别是非常重要的，这篇论文就是给出...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值