【图像超分】论文精读：CoSeR: Bridging Image and Language for Cognitive Super-Resolution（CoSeR）

已于 2024-03-28 16:01:15 修改
阅读量6.4k 收藏
点赞数
分类专栏： 超分辨率重建（理论+实战，科研+应用） 文章标签： 计算机视觉 人工智能 深度学习 超分辨率重建 图像超分 论文笔记 论文阅读
于 2024-03-28 09:23:51 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_36584673/article/details/136987175
版权
CoSeR是一种新型的超分辨率框架，通过结合图像外观和语言理解，使模型能够理解低分辨率图像的语义。方法包括生成认知嵌入、使用扩散模型创建参考图像并引入"All-in-Attention"模块，以提高图像保真度。实验证明，CoSeR在多个基准测试中表现优越，尤其在恢复语义细节和纹理方面有显著优势。
摘要由CSDN通过智能技术生成

第一次来请先看这篇文章：【超分辨率（Super-Resolution）】关于【超分辨率重建】专栏的相关说明，包含专栏简介、专栏亮点、适配人群、相关说明、阅读顺序、超分理解、实现流程、研究方向、论文代码数据集汇总等）

文章目录

前言

论文题目：CoSeR: Bridging Image and Language for Cognitive Super-Resolution —— CoSeR：弥合认知超分辨率的图像和语言

论文地址：CoSeR: Bridging Image and Language for Cognitive Super-Resolution

论文源码：https://github.com/VINHYU/CoSeR

CVPR 2024！扩散模型帮助理解LR，优化SR过程！

Abstract

现有的超分

了解本专栏 订阅专栏 解锁全文
十小大
关注
专栏目录
订阅专栏
【图像超分】论文精读：Feedback Network for Image Super-Resolution（SRFBN）
畅游计算机视觉的海洋
05-18 80
图像超分辨率(SR)的最新进展探索了深度学习的力量，以实现更好的重建性能。然而，在现有的基于深度学习的图像SR方法中，通常存在于人类视觉系统中的反馈机制尚未得到充分利用。在本文中，我们提出了一种图像超分辨率反馈网络（SRFBN）来细化具有高级信息的低级表示。具体来说，我们使用 RNN 中的隐藏状态和约束来实现这种反馈方式。反馈块旨在处理反馈连接并生成强大的高级表示。所提出的 SRFBN 具有很强的早期重建能力，可以逐步创建最终的高分辨率图像步骤。此外，我们引入了一种课程学习策略，使网络非常适合更复杂的任务，
CVPR 2024 超分辨率大模型！华为和清华提出CoSeR：基于认知的万物超分大模型
阿木寺的博客
03-05 1739
点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达点击进入—>【扩散模型和超分辨率】交流群添加微信：CVer444，小助手会拉你进群！扫描下方二维码，加入CVer学术星球，可以获得最新顶会/顶刊上的论文idea和CV从入门到精通资料，及最前沿应用！发论文搞科研，强烈推荐！项目主页：https://coser-main.github.io/论文：https://arxiv.o...
CoSeR: Bridging Image and Language for Cognitive Super-Resolution
mytzs123的博客
12-04 534
系统一是快速的、直觉的、基于记忆的反馈，比如，我们可以脱口而出十以内的加减运算。现有的超分方法更贴近系统一，它们主要依赖于从大量数据中学习图像的退化分布，忽视了对图像内容的理解，无法按照常识来准确恢复物体的结构和纹理，也无法处理域外的退化情况。例如，在图5的第二行，由于输入分布的差异，BLIP2会生成错误的图像描述，而CoSeR生成了内容一致的高质量参考图像。提出了一种基于认知特征的参考图像生成方法，它能够生成与低清图像内容一致的高质量参考图像，用于指导图像的恢复过程，增强图像的保真度和美感度。
探索超分辨率新境界：CoSeR - 跨媒体认知超级分辨率
gitblog_00089的博客
05-25 469
探索超分辨率新境界：CoSeR - 跨媒体认知超级分辨率 项目地址:https://gitcode.com/VINHYU/CoSeR 在图像处理领域，超分辨率（Super-Resolution）始终是一个引人入胜的研究方向，旨在从低质量的输入图像中恢复出高清晰度的细节。现在，我们有幸向大家介绍一个令人瞩目的新成果——CoSeR，一个结合了图像和语言的创新性超级分辨率模型。CoSeR不仅提升了图像的...
每日一看大模型新闻（2023.12.08-12.10）通义千问（预训练模型）登顶Hugging Face开源大模型榜首；首个开源MoE大模型发布！7Bx8个专家，离GPT-4最近的一集；
liuxiuxiu3的博客
01-28 656
全球最大的开源大模型社区Hugging Face最近发布了最新的开源大模型排行榜，当模型类型为pretrained（预训练模型）时，通义千问位居榜首。Hugging Face的开源大模型排行榜是目前大模型领域中最具权威性的榜单之一，收录了全球上百个开源大模型，并对阅读理解、逻辑推理、数学计算、事实问答等六个方面进行了测试评估。宇树还发布了首款“通用人形机器人H1”，其搭载2个英特尔酷睿i7 1265U，配备3D激光雷达 + 深度相机，还可选配灵巧手，展现了出色的硬件配置和先进的感知技术。
CVPR 2024 超分辨率（super-resolution）方向上接收论文总结
yyywxk的博客
05-06 4673
从本届接收的论文来看，和Text引入语义文本信息是大的热点，单纯的超分基本已经绝迹，一般必须带上特殊场景或背景。
【超分辨率（Super-Resolution）】关于【超分辨率重建】专栏的相关说明，包含专栏简介、专栏亮点、适配人群、相关说明、阅读顺序、超分理解、实现流程、研究方向、论文代码数据集汇总等
热门推荐
畅游计算机视觉的海洋
03-25 1万+
本专栏研究领域为【超分辨率重建】，涵盖图像超分、视频超分，实时超分，4K修复等方面。主要内容包括主流算法模型的论文精读、论文复现、毕业设计、涨点手段、调参技巧、论文写作、应用落地等方面。算法模型从SRCNN开始更新至今，一般是一篇论文精读对应一篇论文复现。论文精读详解理论，归化繁为简，归纳核心，积累词句，培养阅读论文和论文写作能力。论文复现依托Pytorch代码，实现完整的模型训练流程，总结调参方法，记录碰到的bug，论文插图可视化，培养读写代码能力、做实验的能力、以及应用落地能力。
论文研究 - 基础设施发展与脆弱性：孟加拉国达卡市两次选定的立交桥的社会学研究
05-19
因此，研究人员遵循了Dahrendorf（1959）提出的冲突方法，后来使用了Coser（1956）和Guangshe Jia等人（2011）的观点来理解大型项目（如立交桥）如何通过第三世界国家的不同渠道运作。 随后的研究表明，尽管这些...
C:\Users\Coser\Desktop\c语言\a\d\main.c|17|undefined+reference+to+`W'|
03-18
根据你提供的信息，错误信息显示在main.c文件的第17行，出现了对`W`的未定义引用。这个错误通常是因为在代码中使用了一个未声明或未定义的变量或函数。要解决这个问题，你可以检查以下几点： 1. 确保变量或函数`W`...
Opencv实现提取卡号（数字识别）
2401_84670644的博客
09-03 2369
接下来，你可能会想要使用这些数字模板与输入图像中的数字进行匹配，以确定输入图像中每个数字的具体值。这通常涉及到模板匹配技术，如使用。库来解析命令行输入，确保用户提供了输入图像和模板图像的路径。函数读取模板图像的路径，并显示原始图像。自定义的myutils库。
Pix2Pix——图像转换（图像到图像），通过输入的一种图像生成目标图像
m0_75253143的博客
09-13 1107
Pix2Pix 是由等人于 2016 年提出的图像转换模型，基于 GAN（生成对抗网络）框架，特别是条件 GAN（Conditional GAN）。它的核心思想是：通过提供一个输入图像，让生成器学习如何从该图像生成一个具有特定目标特性的输出图像。判别器用于区分生成图像和真实目标图像。与传统的 GAN 不同，Pix2Pix 不仅仅是生成逼真的图像，而是将输入的图像作为生成过程的条件，通过输入与输出之间的对应关系来引导生成器的学习。
[数据集][目标检测]车窗状态检测车窗开关检测数据集VOC+YOLO格式299张3类别
FL1623863129的博客
09-13 410
数据集格式：Pascal VOC格式+YOLO格式(不包含分割路径的txt文件，仅仅包含jpg图片以及对应的VOC格式xml文件和yolo格式txt文件)标注类别名称:["window-close","window-mid","window-open"]特别声明：本数据集不对训练的模型或者权重文件精度作任何保证，数据集只提供准确且合理标注。图片数量(jpg文件个数)：299。标注数量(xml文件个数)：299。标注数量(txt文件个数)：299。标注规则：对类别进行画矩形框。
《OpenCV计算机视觉》—— 身份证号码识别案例
weixin_73504499的博客
09-11 2424
模板图像中数字的定位处理、身份证号码数字的定位处理、使用模板匹配，计算匹配得分，找到正确结果
[数据集][目标检测]疟疾恶性疟原虫物种目标检测数据集VOC+YOLO格式948张1类别
FL1623863129的博客
09-15 622
数据集格式：Pascal VOC格式+YOLO格式(不包含分割路径的txt文件，仅仅包含jpg图片以及对应的VOC格式xml文件和yolo格式txt文件)特别声明：本数据集不对训练的模型或者权重文件精度作任何保证，数据集只提供准确且合理标注。重要说明：网上看到同类数据集他们标注都存在问题。标注类别名称:["plasmodium"]图片数量(jpg文件个数)：948。标注数量(xml文件个数)：948。标注数量(txt文件个数)：948。使用标注工具：labelImg。标注规则：对类别进行画矩形框。
[数据集][目标检测]汽车头部尾部检测数据集VOC+YOLO格式5319张3类别
FL1623863129的博客
09-11 791
数据集格式：Pascal VOC格式+YOLO格式(不包含分割路径的txt文件，仅仅包含jpg图片以及对应的VOC格式xml文件和yolo格式txt文件)特别声明：本数据集不对训练的模型或者权重文件精度作任何保证，数据集只提供准确且合理标注。标注类别名称:["car","head","tail"]数据集制作单位：未来自主研究中心(FIRC)版权单位：未来自主研究中心(FIRC)图片数量(jpg文件个数)：5319。标注数量(xml文件个数)：5319。标注数量(txt文件个数)：5319。
[数据集][目标检测]葡萄成熟度检测数据集VOC+YOLO格式1123张3类别
最新发布
FL1623863129的博客
09-15 444
数据集格式：Pascal VOC格式+YOLO格式(不包含分割路径的txt文件，仅仅包含jpg图片以及对应的VOC格式xml文件和yolo格式txt文件)标注类别名称:["ripe grape","semiripe grape","unripe grape"]特别声明：本数据集不对训练的模型或者权重文件精度作任何保证，数据集只提供准确且合理标注。图片数量(jpg文件个数)：1123。标注数量(xml文件个数)：1123。标注数量(txt文件个数)：1123。标注规则：对类别进行画矩形框。
《Discriminative Class Tokens for Text-to-Image Diffusion Models》ICCV2023
qq_46981910的博客
09-14 992
论文讨论了文本到图像扩散模型的最新进展，这些模型能够生成多样化和高质量的图像。然而，生成的图像常常缺乏细节，并且由于输入文本的歧义性，容易产生错误。为了解决这些问题，作者提出了一种非侵入式的微调技术，利用预训练分类器的判别信号来指导生成过程，从而在保留自由形式文本表达潜力的同时，实现高精度。
[数据集][目标检测]岩石种类检测数据集VOC+YOLO格式4766张9类别
FL1623863129的博客
09-13 580
标注类别名称:["Igneous_Basalt","Igneous_Diorite","Igneous_Granite","Metamorphic_Marble","Metamorphic_Quartize","Sedimentary_Chalk","Sedimentary_Limestone","Sedimentary_Sandstone","Sedimentary_coal"]特别声明：本数据集不对训练的模型或者权重文件精度作任何保证，数据集只提供准确且合理标注。标注数量(txt文件个数)：4766。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

十小大

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值