CVPR2022场景文字识别新作SwinTextSpotter

已于 2022-06-21 07:25:37 修改
阅读量5.1k 收藏 11
点赞数 2
分类专栏： 论文解读 文章标签： 人工智能 深度学习 python 机器学习 pytorch
于 2022-04-17 22:59:19 首次发布
未经授权，禁止转载，如需转载请私信
本文链接：https://blog.csdn.net/dlhlSC/article/details/124238740
版权

导

语

场景文本定位旨在识别自然图像中的整个单词或句子的文本位置，由于其在自动驾驶、智能导航等领域的广泛应用，最近受到越来越多的关注。

背景介绍

目前自然场景文字识别技术应用广泛，例如拍照翻译，自动驾驶，图像检索等。其中，自然场景文字定位是指对场景图像中所有文本的精确定位，由于文本存在多种变体(颜色、大小、宽高比、字体、方向、光照条件和背景等），因此自然场景中精准的文字定位是非常具有挑战性的。

本文效果

这篇论文全名为"SwinTextSpotter: Scene Text Spotting via Better Synergy between Text Detection and Text Recognition",由华南理工大学、香港中文大学、华为云人工智能、深圳鹏城实验室等多家单位的研究员共同完成。下图为本论文的定位效果(彩色部分为当前场景文字定位可视化结果)

代码实战

环境搭建

conda create -n SWINTS python=3.8 -y
conda activate SWINTS
conda install pytorch==1.8.0 torchvision==0.9.0 torchaudio==0.8.0 cudatoolkit=11.1 -c pytorch -c conda-forge
pip install opencv-python
pip install scipy
pip install shapely
pip install rapidfuzz
pip install timm
pip install Polygon3
git clone https://github.com/mxin262/SwinTextSpotter.git
cd SwinTextSpotter
python setup.py build develop

基于Swin-Transformer backbone训练模型

python projects/SWINTS/train_net.py \
--num-gpus 8 \
--config-file projects/SWINTS/configs/SWINTS-swin-pretrain.yaml

基于已有权重进行finetune

python projects/SWINTS/train_net.py \
--num-gpus 8 \
--config-file projects/SWINTS/configs/SWINTS-swin-mixtrain.yaml

可视化检测结果

python demo/demo.py \
--config-file projects/SWINTS/configs/SWINTS-swin-finetune-totaltext.yaml \
--input input1.jpg \
--output ./output \
--confidence-threshold 0.4 \
--opts MODEL.WEIGHTS ./output/model_final.pth

资源下载

关于本论文涉及的数据集和模型权重，已打包放入百度网盘。关注公众号实用AI客栈，在后台回复1001即可获取下载链接。

分享人工智能领域最新资讯，讲解各类实用的算法和模型。

权重和数据集打包

upDiff
关注
专栏目录
Python-SceneTextPapers场景文字检测与识别文献代码汇总
08-11
SceneTextPapers - 场景文字检测与识别文献/代码汇总
CVPR2022场景文字识别新作SwinTextSpotter环境搭建
weixin_53937854的博客
05-20 410
这篇论文全名为"SwinTextSpotter: Scene Text Spotting via Better Synergy between Text Detection and Text Recognition",由华南理工大学、香港中文大学、华为云人工智能、深圳鹏城实验室等多家单位的研究员共同完成。下图为本论文的定位效果(彩色部分为当前场景文字定位可视化结果): 无法打开源文件: “pycocotools/_mask.c”: No such file or directory。
CVPR 2022 | SwinTextSpotter：基于文本检测与识别更好协同的场景文本识别
阿木寺的博客
05-13 3775
点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达转载自：CSIG文档图像分析与识别专委会本文简要介绍CVPR 2022录用的论文“SwinTextSpotter: Scene Text Spotting via Better Synergy between Text Detection and Text Recognition”的主要工作。该论文提出了...
探索高效文本检测与识别：SwinTextSpotter
最新发布
gitblog_00045的博客
05-26 506
探索高效文本检测与识别：SwinTextSpotter 去发现同类优质开源项目:https://gitcode.com/ 在计算机视觉领域中，场景文本检测和识别是关键的挑战之一。SwinTextSpotter 是一个精心设计的基于 Pytorch 的开源实现，该实现源自 CVPR 2022 上的一篇论文——《SwinTextSpotter: 场景文本检测与识别之间的更好协同》(英文原文链接)。 ...
CVPR 2024 | OmniParser：统一图文解析模型：文字检测识别、视觉信息抽取和表格识别...
阿木寺的博客
04-18 3803
点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达点击进入—>【Mamba和OCR】微信交流群添加微信：CVer5555，小助手会拉你进群！扫描下方二维码，加入CVer学术星球！可以获得最新顶会/顶刊上的论文idea和CV从入门到精通资料，及最前沿应用！发论文/搞科研/涨薪，强烈推荐！转载自：CSIG文档图像分析与识别专委会本文简要介绍CVPR 2024录用论文“OmniP...
CVPR2022-人脸识别：adaface一种基于质量的自适应损失函数
01-04
为了解决这一挑战，CVPR2022中提出了一种名为AdaFace的新方法，它是一种基于质量的自适应损失函数，专门针对低质量人脸图像进行优化。 AdaFace的核心思想是根据图像的质量调整损失函数，为不同难度的样本赋予不同...
CVPR 2022 LaTex 模板
05-07
《CVPR 2022 LaTex 模板详解与应用》 计算机视觉领域的顶级会议——CVPR（Computer Vision and Pattern Recognition）每年都会为作者提供官方的论文提交模板，以确保论文格式的一致性和专业性。2022年的CVPR LaTex...
Latex CVPR 2022模板
03-03
│ cvpr.sty │ egbib.bib │ ieee_fullname.bst │ PaperForReview.pdf │ PaperForReview.tex │ README.md │ RebuttalTemplate.pdf │ RebuttalTemplate.tex
[CVPR2022] Official LaTeX Template.zip
11-19
【CVPR2022】官方LaTeX模板是计算机视觉领域顶级会议——CVPR（Computer Vision and Pattern Recognition）2022年的论文提交规范。这个模板是为作者提供了一个标准化的格式，确保提交的论文符合会议的要求，以便于...
场景文字识别中英文字符图片
08-01
本图片为手动切割ICDAR2013比赛识别部分的数据集，一共分割出了2千多张单字符，希望能给大家提供帮助
自然场景下文字识别（EAST AND RCNN(CTC)）
04-14
可支持自然场景下的通用文字识别，包含自然场景下文字定位和识别
浅析点对点(End-to-End)的场景文字识别
weixin_34088598的博客
06-12 193
一、背景 随着智能手机的广泛普及和移动互联网的迅速发展，通过手机等移动终端的摄像头获取、检索和分享资讯已经逐步成为一种生活方式。基于摄像头的(Camera-based)的应用更加强调对拍摄场景的理解。通常，在文字和其他物体并存的场景，用户往往首先更关注场景中的文字信息，因而如何能够正确识别场景中的文字，对用户拍摄意图会有更深入的理解。一般意义上，基于图像的文字识别包括基于扫...
#今日论文推荐#CVPR 2022 | SwinTextSpotter：基于文本检测与识别更好协同的场景文本识别
w1hsxn的博客
05-16 560
#今日论文推荐#CVPR 2022 | SwinTextSpotter：基于文本检测与识别更好协同的场景文本识别 本文简要介绍CVPR 2022录用的论文“SwinTextSpotter: Scene Text Spotting via Better Synergy between Text Detection and Text Recognition”的主要工作。该论文提出了一种基于Transformer的用于任意形状端到端场景文字识别的方法，该方法提出了一种新的识别转换机制，通过识别损失来明确地引导文
论文解读丨【CVPR 2022】不使用人工标注提升文字识别器性能
华为云官方博客
12-20 1987
本文提出了一种针对文字识别的半监督方法。区别于常见的半监督方法，本文的针对文字识别这类序列识别问题做出了特定的设计。
OpenCV场景文本识别的实例(附完整代码)
希望我的博客，能帮上你解决学习中工作中所遇到的问题
04-27 838
OpenCV场景文本识别的实例OpenCV场景文本识别的实例 OpenCV场景文本识别的实例 #include <iostream> #include <fstream> #include <opencv2/imgproc.hpp> #include <opencv2/highgui.hpp> #include <opencv2/dnn/dnn.hpp> using namespace cv; using namespace cv::dnn;
场景文字识别
qq_36573282的博客
01-05 826
文章目录1. 简介2. 初始bounding box生成2.1 Edge Box候选区域生成 1. 简介 针对格式、字体较为标准的文字识别可以做到比较高的准确率。而在复杂场景中定位并识别出文字仍然有待提高的空间。 下面介绍的论文是2016发表在IJCV上的论文Reading Text in theWild with Convolutional Neural Networks。 该论文中使用的数据集...
ECCV 2022 Oral | 白翔团队：用于场景文字识别的角点引导Transformer
阿木寺的博客
09-13 816
点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达转载自：CSIG文档图像分析与识别专委会Toward Understanding WordArt: Corner-Guided Transformer for Scene Text Recognition 论文：https://arxiv.org/abs/2208.00438代码和数据集：https://github.com/xd...
CVPR 2023｜3D模型分割新方法！不用人工标注，只需一次训练，未标注类别也能识别
jacke121的专栏
04-02 1751
CVPR 2023｜3D模型分割新方法！不用人工标注，只需一次训练，未标注类别也能识别
cvpr2022图卷积 动作识别
07-28
很抱歉，我没有找到关于CVPR2022图卷积动作识别的相关信息。CVPR2022是计算机视觉和模式识别领域的国际会议，主要涵盖了图像分类、目标检测、目标跟踪、点云与语义分割、GAN、超分辨率、人脸检测与识别、动作行为与时空运动、模型压缩和量化剪枝、迁移学习、人体姿态估计等多个方向的内容。但是关于CVPR2022图卷积动作识别的具体论文或研究我无法提供。如果您有其他关于CVPR2022的问题，我会尽力帮助您回答。 #### 引用[.reference_title] - *1* *3* [CVPR2022最新106篇论文整理｜包含目标检测、动作识别、图像处理等32个方向](https://blog.csdn.net/weixin_47196664/article/details/123785328)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control_2,239^v3^insert_chatgpt"}} ] [.reference_item] - *2* [CVPR 2022 最新106篇论文分方向整理｜包含目标检测、动作识别、图像处理等32个方向](https://blog.csdn.net/Extremevision/article/details/123585539)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control_2,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]
评论 6
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

upDiff

你的鼓励将是我创作的最大动力！

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值