恒源云(GPUSHARE)_【ECCV 2020】RobustScanner 论文学习笔记

已于 2022-02-23 16:09:58 修改
阅读量333 收藏 2
点赞数 2
分类专栏： 深度学习 文章标签： 深度学习 机器学习 计算机视觉
于 2021-03-08 23:50:09 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_53977063/article/details/114557014
版权
本文介绍了ECCV 2020论文《RobustScanner》中的方法，针对语义信息不足的文本识别问题，提出了位置增强分支和动态融合模块，以增强解码器的位置信息，提高识别准确性。尽管在某些语义丰富的场景下可能效果不如基于语义的解码器，但在随机字符和弱语义文本中表现优秀。
摘要由CSDN通过智能技术生成

文章来源 | 恒源云（专注人工智能/深度学习GPU云服务器免费租用平台，官方体验网址：https://gpushare.com）

原文地址 | 【ECCV 2020】RobustScanner 论文学习笔记（学霸季奖励计划）

背景

通常STR识别论文中的实验数据集来自真实街景图片，其中包含大量语义信息。那么在decode时利用attention机制的decoder往往可以很好地利用这些语义信息，从而避免将apple预测成0pple的情况。然而实际项目中并不一定都是语义信息丰富的文本图片，遇到随机字符的组合或者弱语义文本识别，经典识别方法可能出现错误的预测结果。

通常对于这种情况，我的习惯是使用CTC解码器。而今天介绍一篇来自商汤团队ECCV2020的文本识别论文《RobustScanner- Dynamically Enhancing Positional Clues for Robust Text Recognition》，提出了一种增强位置信息的方法，来解决这一问题。

动机

作者发现目前的STR识别模型对于没有语义信息或者弱语义信息

最低0.47元/天 解锁文章
AI酱油君
关注
专栏目录
恒源云(GPUSHARE)_【ECCV 2020】MobileNeXT 论文学习笔记
weixin_53977063的博客
04-22 1210
文章来源 | 恒源云社区（专注人工智能/深度学习云GPU服务器加速平台，官方免费体验网址：https://gpushare.com/） 原文地址 |【ECCV 2020】MobileNeXT 论文学习笔记（学霸季奖励计划） 在本文中，我们将深入探讨在ECCV 2020上发布的对最近流行的MobileNet体系结构（即MobileNeXt）进行的改造。 尽管深度神经网络的许多最新进展都倾向于优先考虑性能而不是复杂性，但社区中仍然存在着使深度神经网络更便宜，更高效地用于较小设备的火花。高效神经网络的研究.
ECCV 2020 ——RobustScanner: Dynamically Enhancing Positional Clues for Robust Text Recognition
一个nlp探险者的博客
08-18 890
引言 摘要 基于注意力的编解码框架最近在场景文本识别方面取得了令人瞩目的成果，并且随着识别质量的提高，出现了许多变体。然而，它在无上下文文本（如随机字符序列）上的性能较差，这在大多数实际应用场景中是不可接受的。本文首先深入研究了译码器的解码过程。实验发现，典型的字符级序列译码器不仅利用了上下文信息，而且还利用了位置信息。现有的大量依赖上下文信息的方法导致了注意力漂移的问题。为了抑制注意力漂移带来的副作用，我们提出了一种新的位置增强分支，并将其输出与解码器注意模块的输出动态融合，用于场景文本识别。具体地说，它
RobustScanner: Dynamically Enhancing Positional Clues for Robust Text Recognition —— 论文阅读笔记
学无止境
12-29 681
Paper : https://arxiv.org/abs/2007.07542v2 基于注意力的编码-解码结构的网络在缺少上下文信息的文本上表现不好（比如随机字符下图）。一个字符序列的解码不仅利用上下文信息也利用位置信息，但是在注意力机制中，严重依赖于上下文信息，随着时间步的增加，位置信息逐渐被淹没，会导致后边的字符出现对齐漂移和误识别。为了解决这个问题，提出了位置增强分支，并将其输出与注意力模块的输出动态融合。位置增强分支包含一个位置感知模块（使编码器编码自己的空间位置以输出自己的位置特征向量）和一.
论文复现第六期-OCR识别算法-RobustScanner
m0_63642362的博客
05-27 931
转自AI Studio，原文链接：论文复现第六期-OCR识别算法-RobustScanner - 飞桨AI Studio 一、简介 近年来，针对任意形状文本识别的方法占据了主导地位。这些方法大致可以分为基于纠错的方法、基于分割的方法和基于注意力的编解码器方法。 Rectification-based approaches.试图在识别之前将不规则的图像纠正为常规图像。以STN为基础，出现了一系列基于可学习TPS变换的方法。例如RARE、ASTER、STAR-NET、S-cRN、ESIR等。char.
RobustScanner: Dynamically Enhancing Positional Clues for Robust Text Recognition稿
soulesstitan的博客
07-24 513
  文本识别str领域伴随着rnn,cnn,selfattention的出现，准确率也随之提高。使用attention 解码，可以在不需要文本矫正的情况下进行文本识别。但是使用attention解码会存在一些问题，,目前有两个挑战，一个是attention漂移的问题。这里举个图片的例子比如说左边这张图会出现连续的两个likely，这也是因为我们训练的时候，使用的文本内容几乎都是单词，而不是随机生成的乱码，因此识别器学习到的更多的解码顺序都是基于内容信息的。我们使用的训练集中是用单词字符生成的，那么针对乱码的
nerf_eccv2020.pdf
最新发布
07-13
NeRF（ Neural Radiance Fields）是一种基于深度学习的Scene Representation方法，旨在解决视图合成（View Synthesis）问题。NeRF将一个场景表示为一个连续的5D函数，输入是一个单一的连续5D坐标（空间位置（x, y, z...
ECCV2020-代码：ECCV 2020论文开源项目合集，同时欢迎各位大佬提交问题，分享ECCV 2020开放项目
02-04
这个压缩包“ECCV2020-Code-master”很可能是包含了ECCV 2020会议上发表的部分论文的开源代码，为研究者和实践者提供了深入了解和复现这些先进算法的机会。 1. 计算机视觉：计算机视觉是一门多学科交叉的科学，旨在...
Yao_Feng_Joint_3D_Face_ECCV_2018_paper_CVPR2018_
10-04
《Yao_Feng_Joint_3D_Face_ECCV_2018_paper》是2018年ECCV（欧洲计算机视觉国际会议）上发表的一篇关于3D人脸识别与模型重建的重要论文，其相关研究对于人脸识别技术和3D人脸建模领域具有深远的影响。该论文的研究...
【论文笔记】Robust Physical-World Attacks on Deep Learning Visual Classification
kaguya1004的博客
02-03 938
一篇之前看的时候蛮顺但现在实在看不明白的文章=-=目前为止物理可实现攻击一般是指在实物上动手脚，让分类器对实物的图片误分类。 摘要 最近的研究表明，最先进的深度神经网络（DNNs）很容易受到来自输入的小幅度扰动的攻击。鉴于新兴物理系统在安全关键情况下使用DNN，对抗性示例可能误导这些系统并导致危险情况。因此，理解物理世界中的对抗性例子是开发弹性学习算法的重要一步。我们提出了一种通用的攻击算法，鲁棒物理扰动（RP2），在不同的物理条件下产生鲁棒的视觉对抗扰动。利用道路标志分类的实际案例，我们表明，在各种环境条
mmocr的识别模型
keep
09-01 905
mmocr模型的相关资料
文字检测与识别资源
PeaceInMind的博客
05-12 6万+
本文写成时主要参考了[1,2], 后面加了一些自己收集的，不过大家都在更新，所以区别不是很大。蓝色部分代表最近新增的部分 综述 自然场景文字检测 自然场景文字识别 数据集 开源库 其他 手写字识别 牌照等识别 破解验证码 参考 [2015-PAMI-Overview]Text Detection and Recognition in Imagery: A Survey[...
深度学习笔记——Attention Model（注意力模型）学习总结
热门推荐
mpk_no1的博客
08-06 15万+
Attention Model（注意力模型）学习总结，包括soft Attention Model，Global Attention Model和Local Attention Model，静态AM，强制前向AM的一些介绍，以及AM具体实现公式的几个变体及介绍，最后附上了自己用keras实现的一个静态AM的代码。
计算机组成原理branch,处理器结构--分支预测(Branch Prediction)
weixin_31629913的博客
07-17 2110
背景条件分支指令通常具有两路后续执行分支。即不采取(not taken)跳转，顺序执行后面紧挨JMP的指令；以及采取(taken)跳转到另一块程序内存去执行那里的指令。是否条件跳转，只有在该分支指令在指令流水线中通过了执行阶段(execution stage)才能确定下来。如果没有分支预测器，处理器将会等待分支指令通过了指令流水线的执行阶段，才把下一条指令送入流水线的第一个阶段—取指令阶段(fet...
神经网络位置编码
yang_daxia的博客
09-21 761
1.文字识别：RobustScanner: Dynamically Enhancing Positional Clues for Robust Text Recognition 利用lstm+cnn编码 2.transformer 中的位置编码 各种transformer编码
近几年ICCV，CVPR,和ECCV论文列表[转载]
darren2015zdc的博客
09-06 5149
原文链接：http://www.cnblogs.com/cutepig/archive/2007/08/07/846945.htmlhttp://www.informatik.uni-trier.de/~ley/db/conf/iccv/index.html http://www.informatik.uni-trier.de/~ley/db/conf/cvpr/index.html http:
中山大学提出SimAM：无参Attention！助力分类/检测/分割涨点！
jacke121的专栏
08-02 3143
http://proceedings.mlr.press/v139/yang21o.html code:https://github.com/ZjjConan/SimAM 在正式介绍本文所提注意力模块之前，我们先对现有代表性注意力模块(比如SE、CBAM、GC)进行简要总结；然后，我们再引出本文所提完全不同架构的注意力模块。 Overview of Existing Attention Modules 上图a与b列出了现有两种类型的注意力模块： 通道注意力：1D注意力，它对不同通道区别对.
Exploring Self-attention for Image Recognition稿
soulesstitan的博客
06-04 3705
狭义的self attention   self attention这个说法来自于attention is all you need这篇论文，它也是构成transformer的基础。提出的原因是因为基于rnn做attention的话，是无法做并行化且rnn的结构在长距离的依赖的时候效果并不好。   self attention是针对key，value，query三个变量来计算的。这三个变量都来自于自己的本身乘以一个矩阵变换而来。因此叫做self attention。 计算attention的公式就是q和k之
『论文笔记』CBAM:Convolutional Block Attention Module(注意力机制)+TensorFlow2.0复现
AI新视界
12-30 1万+
本文提出了卷积块注意模块(CBAM)，这是一个简单而有效的前馈卷积神经网络注意模块。在给定中间特征图的情况下，我们的模块按照通道和空间两个独立的维度依次推断注意图，然后将注意图乘入输入特征图进行自适应特征细化。因为CBAM是一个轻量级的通用模块，它可以无缝地集成到任何CNN架构中，开销可以忽略不计，并且可以与基本CNNs一起进行端到端的培训。我们通过在ImageNet-1K、MS COCO检测和VOC 2007检测数据集上的大量实验来验证我们的CBAM。
Attention机制与CNN的有机结合
小岁月太着急
07-15 2万+
目录 一、SENet（2017ImageNet冠军模型)---通道Attention 前 言 引入 主体思路 Squeeze-and-Excitation (SE) 模块 SE模块在Inception和ResNet上的应用 SE模块的实现 参考文献 二、SKNet（2019CVPR)---soft attention机制 SKNet 使用了两个思路来提高精度： 网络...
out_img_eccv16 = postprocess_tens(tens_l_orig, colorizer_eccv16(tens_l_rs).cpu())
05-01
这行代码是将经过ECCV16模型上色后的图像进行后处理，并将其转换为CPU上的张量。具体来说，它调用了`postprocess_tens`函数和`colorizer_eccv16`函数，并将它们的输出作为参数传递给`cpu()`函数，以将它们转换为CPU...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值