TPAMI 2024 | 将CLIP模型转化为场景文本识别器

最新推荐文章于 2025-01-14 18:58:44 发布
最新推荐文章于 2025-01-14 18:58:44 发布
阅读量164 收藏
点赞数
分类专栏： 论文解读 IEEE TPAMI 文章标签： TPAMI IEEE 深度学习 顶刊论文 论文解读
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42722197/article/details/142649483
版权

Turning a CLIP Model Into a Scene Text Spotter

题目：将CLIP模型转化为场景文本识别器

作者：Wenwen Yu; Yuliang Liu; Xingkui Zhu; Haoyu Cao; Xing Sun; Xiang Bai
源码：https://github.com/wenwenyu/TCM

摘要

我们利用大规模对比语言-图像预训练（CLIP）模型的潜力，增强场景文本检测和识别任务，将其转化为一个强大的骨干网络，FastTCM-CR50。这个骨干网络利用视觉提示学习和CLIP中的交叉注意力来提取图像和基于文本的先验知识。通过预定义和可学习的提示，FastTCM-CR50引入了一个实例-语言匹配过程，以增强图像和文本嵌入之间的协同作用，从而细化文本区域。我们的双模态相似性匹配（BSM）模块促进了动态语言提示的生成，实现了离线计算并提高了性能。FastTCM-CR50提供了几个优势：1）它可以增强现有的文本检测器和识别器，分别将性能提高了平均1.6%和1.5%。2）它超越了以前的TCM-CR50骨干网络，

了解本专栏 订阅专栏 解锁全文
TPAMI 2024 | 构建具有更好架构、优化和数据的开放词汇视频CLIP模型
小白学视觉
08-06 377
尽管对比语言-图像预训练（CLIP）在零样本图像识别中取得了显著成果，但在探索其零样本视频识别潜力方面的努力却很有限。本文提出了Open-VCLIP++，这是一个简单但有效的框架，它将CLIP适应为强大的零样本视频分类器，能够在测试期间识别新颖的动作和事件。Open-VCLIP++对CLIP进行最小化修改，以捕捉视频中的时空关系，从而创建专门的视频分类器，同时努力实现泛化。我们正式证明，训练Open-VCLIP++等同于没有历史数据的持续学习。
TPAMI 2024 | 面向查询的微视频总结
小白学视觉
07-19 215
题目：Query-Oriented Micro-Video Summarization 面向查询的微视频总结 作者：M. Jia; Y. Wei; X. Song; T. Sun; M. Zhang; L. Nie 摘要 面向查询的微视频摘要任务旨在生成一个简洁的句子，具有以下两个属性：(a) 总结微视频的主要语义；(b) 以搜索查询的形式表达，以便于检索。尽管在检索领域具有巨大的应用价值，但这个方向几乎没有被探索过。之前的摘要研究主要集中在传统长视频的内容摘要。直接应用这些研究由于微视频和查询的独特特征
顶刊TPAMI 2024！白翔团队：将CLIP模型转换为端到端文本识别器
阿木寺的博客
04-15 999
点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达点击进入—>【Mamba和OCR】微信交流群添加微信：CVer5555，小助手会拉你进群！扫描下方二维码，加入CVer学术星球！可以获得最新顶会/顶刊上的论文idea和CV从入门到精通资料，及最前沿应用！发论文/搞科研/涨薪，强烈推荐！本文简要介绍TPAMI 2024录用论文“Turning a CLIP Model int...
TPAMI'24 视觉与文本新结合，将CLIP模型转化为场景文本识别器
小白学视觉
10-10 313
点击上方“小白学视觉”，选择加"星标"或“置顶”重磅干货，第一时间送达点击加入论文投稿、写作、阅读分享交流群Turning a CLIP Model Into a Scene Text Spotter题目：将CLIP模型转化为场景文本识别器作者：Wenwen Yu; Yuliang Liu; Xingkui Zhu; Haoyu Cao; Xing Sun; Xiang Bai源码：https:/...
【论文阅读】Turning a CLIP Model into a Scene Text Detector
Lyn0717的博客
03-29 971
场景文本包含有丰富的文本（语义）和视觉信息，与CLIP模型有天然的联系。提出的框架可以用于改进现有的场景文本检测器促进了现有方法的few-shot训练能力将CLIP模型迁移到现有的场景文本检测方法中，进一步实现较好的区域适应能力（domain adaptation ability）
顶刊TPAMI 2022！基于概率分布图的任意形状文本实例分割和检测方法
阿木寺的博客
09-01 802
点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达点击进入—>OCR技术交流群转载自：CSIG文档图像分析与识别专委会本文简要介绍TPAMI 2022录用论文"Arbitrary Shape Text Detection via Segmentation with Probability Maps"的主要工作。该文提出了一个基于概率分布图的任意形状文本实例分割和检测方法。...
谷歌云AI新作：CROME，跨模态适配器高效多模态大语言模型
u014546828的博客
08-21 1682
We proposeCROME现有的方法通常需要昂贵的语言模型再训练和有限的适应性。此外，目前对zero-shot性能改进的关注为特定于任务的调优提供了不足的指导。提出了CROME，一个高效的视觉语言指令调优框架。它具有新颖的门控跨模态适配器，可以在输入到冻结LLM之前有效地结合视觉和文本表示。这个轻量级适配器使用最小的参数进行训练，可以实现高效的跨模式理解。值得注意的是，CROME在标准视觉问题回答和指令遵循基准上表现出优越的zero-shot性能。
2023 文字识别 DeepSolo: Let Transformer Decoder with Explicit Points Solo for Text Spotting
qq_43275608的博客
11-11 624
文章开始时讨论了文本检测和识别在自然场景中的重要性，以及现有方法中存在的问题，比如处理检测和识别子任务之间关系的困难，以及训练效率低下。：提出了DeepSolo，这是一个基于DETR（Detection Transformer）的模型，它使用单个解码器和显式点查询来同时进行文本检测和识别。DeepSolo通过将文本字符序列表示为有序点，并使用可学习的显式点查询来建模这些点，从而编码文本的语义和位置。：为了提供更准确的监督信号，文章引入了一种基于文本匹配的标准，这有助于提高训练效率。
TPAMI 2024 | 增强视觉-语言预训练中的视觉定位与位置引导文本提示
小白学视觉
05-30 277
视觉-语言预训练（VLP）在图像和文本对齐方面展示了巨大的潜力，为广泛的跨模态学习任务铺平了道路。然而，我们观察到 VLP 模型在视觉定位和局部化能力方面经常表现不佳，而这些能力对许多下游任务，如视觉推理，至关重要。为此，我们提出了一种新颖的位置引导文本提示（PTP）范式，以增强使用 VLP 训练的跨模态模型的视觉定位能力。在 VLP 阶段，PTP 将图像划分为N×NN \times NN×N块，并使用广泛使用的目标检测器来识别每个块中的目标。
【读点论文】ODM: A Text-Image Further Alignment Pre-training Approach for OCR结合文本和图像特征去预训练主干网络。需要更多公开信息
白水空空
01-14 746
使用ResNet50作为图像编码器提取视觉特征，6层Transformer作为文本编码器提取文本特征，然后通过交叉注意力机制将文本特征与图像特征进行交互，最后利用简单的解码器（FPN层上采样和1x1卷积）重建去风格化的二值图像。在ODM（OCR-Text Destylization Modeling）中，交叉注意力机制是实现文本与图像特征对齐的关键技术之一。促进特征对齐：通过交叉注意力机制，模型能够将文本特征与图像特征进行有效对齐，使得文本提示能够更好地引导图像特征的提取和重建。这对于OCR任务中的文本检测
FREE A Fast and Robust End-to-End Video Text Spotter个人论文解读
03-24
FREE A Fast and Robust End-to-End Video Text Spotter个人论文解读
ABINet:像人类一样阅读
08-05
像人类一样阅读：场景文本识别的自主、双向和迭代语言建模 官方代码（CVPR 2021，Oral）。 ABINet 使用视觉模型和显式语言模型来识别以端到端方式训练的野外文本。 语言模型（BCN）在模拟完形填空测试中实现了双向语言表示，另外还利用了迭代校正策略。 运行环境 我们使用来自 docker docker/Dockerfile的 Dockerfile 提供预构建的 docker docker/Dockerfile 在 Docker 中运行 $ git@github.com:FangShancheng/ABINet.git $ docker run --gpus all --rm -ti --ipc=host -v $(pwd)/ABINet:/app fangshancheng/fastai:torch1.1 /bin/bash （未经测试）或使用依赖项 pip instal
文字检测+识别之Deep_TextSpotter
年轻即出发，
08-09 4219
论文： Deep TextSpotter: An End-to-End Trainable Scene Text Localization and Recognition Framework  Github: https://github.com/MichalBusta/DeepTextSpotter   ICCV 2017的文章 Pipeline: 整体流程，输入图片先进行一个...
Meta 从大脑活动中解码语音；『代码整洁之道』读书笔记；苏黎世理工『数理统计基础』；3D 物体可视化工具；前沿论文 | ShowMeAI资讯日报
热门推荐
ShowMeAI研究中心
09-07 1万+
ShowMeAI资讯日报 09-07 期，3D 物体的数据可视化工具 、音乐音频自动转录库、ZenML 开源 MLOps 框架、YOLO 系列模型库、中文文本规范化工具、苏黎世联邦理工『数理统计基础』、从大脑活动中解码语音的AI实践、『Clean Code』书籍笔记、面向强化学习的表示资源列表、前沿论文…点击获取全部资讯
自然场景文本处理论文整理（3）Mask TextSpotter
Missaya的博客
07-23 3232
这篇论文是2018年7月6号出来的，对于任意形状的自然文本检测识别效果非常好。 paper:https://arxiv.org/abs/1807.02242 目前无相关源码 1.摘要简介 在本文中，我们提出了一个名为Mask TextSpotter的文本监视器，它可以检测和识别任意形状的文本实例。 这里，任意形状意味着现实世界中可能呈现的各种形式的文本实例。 受Mask R-CNN [9]...
TextSpotter with Explicit Alignment and Attention
年轻即出发，
08-10 1484
论文： An end-to-end TextSpotter with Explicit Alignment and Attention  Github： https://github.com/tonghe90/textspotter   cvpr 2018 paper。阿德莱德大学沈春华老师和先进院乔宇老师分别为4,5作者。 Pipeline: 整个流程包括基于Pvanet的基础...
Mask TextSpotter论文学习
owenfy的博客
01-30 504
Mask TextSpotter论文学习作者的贡献借鉴mask-RCNN和与其不同的地方 作者的贡献 作者提出一个文字检测与识别合在一起的端到端的模型； 提出的方法可以检测和识别任意形状的文字； 通过语义分割，检测和识别的准确率最高； 在不同的数据集实现了state-of-the-art； 语义分割:在像素级别上的分类，属于同一类的像素都要被归为一类，因此语义分割是从像素级别来理解图像的。比如...
ECCV 2018 | 华科白翔老师团队ECCV2018 OCR论文：Mask TextSpotter
AI科技大本营
08-05 6031
作者 |周强来源 | 我爱计算机视觉引入Mask R-CNN思想通过语义分割进行任意形状文本检测与识别。华中科技大学白翔老师团队在自然场景文本检测与识别领域成果颇丰，这篇...
#今日论文推荐#CVPR 2022 | SwinTextSpotter：基于文本检测与识别更好协同的场景文本识别
w1hsxn的博客
05-16 638
#今日论文推荐#CVPR 2022 | SwinTextSpotter：基于文本检测与识别更好协同的场景文本识别 本文简要介绍CVPR 2022录用的论文“SwinTextSpotter: Scene Text Spotting via Better Synergy between Text Detection and Text Recognition”的主要工作。该论文提出了一种基于Transformer的用于任意形状端到端场景文字识别的方法，该方法提出了一种新的识别转换机制，通过识别损失来明确地引导文
tpami2024图像去噪
最新发布
03-29
### TPAMI 2024 年关于图像去噪的研究概述 在TPAMI 2024年的研究中，有一篇重要的论文提出了无需去噪的含噪图像表示方法[^1]。这项工作旨在解决具有挑战性的噪声退化问题，并提出了一种新的时频判别图像表示技术。这种方法不仅能够提供信息噪声鲁棒性，还能保持几何不变性，而不需要任何学习过程或显式的去噪操作。 具体而言，这种新方法适用于多种小规模鲁棒视觉问题，尤其是在安全和取证领域中的对抗假设场景下表现出显著潜力。其核心优势在于能够在不依赖传统去噪算法的情况下实现对含噪图像的有效表征，从而简化了处理流程并提高了效率。 此外，在多模态图像修复与融合方面也有相关进展。另一项研究表明，通过设计一种名为DeepMCDL的新颖可解释网络，可以有效应对复杂的图像恢复任务[^2]。尽管此部分重点并非完全集中于单一模式下的去噪问题，但它展示了如何利用深度学习框架结合字典学习机制来提升图像质量，这对于理解更广泛的图像增强策略提供了有价值的见解。 对于特定类型的干扰因素如雨水影响，则存在专门针对此类情况开发的技术方案。例如，“图像去雨Transformer”的研究成果涵盖了多个公开可用的数据集用于验证模型性能，其中包括但不限于Rain200H、Rain200L以及SPAData等[^3]。虽然这些资源主要用于评估去除降雨效果的能力，但从侧面反映了当前学术界对于复杂环境下信号提取的关注程度，这也间接促进了通用型图像去噪理论的发展方向。 综上所述，无论是专注于构建新型无监督式含噪图像表达方式还是探索跨域协作优化路径，都可以看出近年来围绕提高数字媒体抗干扰特性的科研活动正呈现出蓬勃发展的态势。 ```python # 示例代码片段展示可能应用于图像预处理阶段的操作逻辑 import numpy as np def apply_noise_robust_representation(image_array): # 假设此处实现了基于时频分析的方法 transformed_image = np.fft.fftshift(np.fft.fft2(image_array)) return abs(transformed_image) # 调用函数模拟输入输出转换过程 noisy_input = np.random.rand(256, 256) * 255 processed_output = apply_noise_robust_representation(noisy_input) ``` ####
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

小白学视觉

您的赞赏是我们坚持下去的动力~

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值