Hierarchical Integration Diffusion Model for Realistic Image Deblurring

最新推荐文章于 2024-08-24 15:07:49 发布
最新推荐文章于 2024-08-24 15:07:49 发布
阅读量736 收藏 17
点赞数 21
分类专栏： Super Resolution 文章标签： 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44994838/article/details/139811318
版权

问题引入

  • 现在的diffusion的方法在sample的时候需要的iteration过多，所以本文提出在高度压缩的空间进行DM，且deblur模型主体是regression base的模型，DM只是生成prior feature，prior feature integrate到regression model的方式是Hierarchical的；

methods

在这里插入图片描述

  • stage1：首先将GT和LQ进行concat之后送到LE模块得到prior feature z ∈ R N × C ′ z\in\mathbb{R}^{N\times C'} z∈RN×C′，之后在transformer部分进行integrate，通过HIM模块进行cross attention，输入的feature map首先reshape到 X r ∈ R H ^ W ^ × C ^ X_r\in\mathbb{R}^{\widehat{H}\widehat{W}\times \widehat{C}} Xr​∈RH W ×C ，之后经过linear层得到 Q Q Q，类似的还将 z z z经过线性层得到 K , V K,V K,V，之后计算cross attention S o f t M a x ( Q K T / C ^ ) ⋅ V SoftMax(QK^T/\sqrt{\widehat{C}})\cdot V SoftMax(QKT/C ​)⋅V，最后的损失是去模糊之后的图片和GT的L1损失；
  • stage2：DM生成prior feature，流程还是和DiffIR这篇文章的stage2一样；

实验

尔呦
关注
  • 21
    点赞
  • 踩
  • 17
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
A hierarchical ontology context model for work-based learning
02-21
在本篇研究论文《A hierarchical ontology context model for work-based learning》中，作者Chuantao YIN、Bingxue ZHANG、Betrand DAVID以及Zhang XIONG深入探讨了工作学习情境中层级本体上下文模型的构建和应用。...
庞亮__HAS-QA Hierarchical Answer Spans Model for Open-domain Quest
08-03
HAS-QA（Hierarchical Answer Spans Model）是一种创新的模型，专门针对开放领域问答的挑战，包括无答案段落、多答案片段以及答案起止位置的依赖性等问题。 首先，HAS-QA模型基于三层分层结构：问题级别、段落级别...
NeurIPS 2023 Spotlight | 用于真实图像去模糊的层次结合扩散模型HI-Diff
TechBeat人工智能社区博客
01-29 1121
本文介绍了一种新型图像去模糊模型——分层集成扩散模型（HI-Diff）。HI-Diff主要在高度压缩的潜在空间中运行扩散模型，以生成去模糊过程的先验特征。并且高度压缩的潜在空间确保了DM的效率。此外，HI-Diff采用分层集成模块，将先验与基于回归的模型在多个尺度上融合，增强了模型在处理复杂模糊场景时的泛化能力。通过在合成和真实世界模糊数据集上的全面实验，我们证明了HI-Diff超越了当前最先进的方法。
4、High-Resolution Image Synthesis with Latent Diffusion Models
小白的博客
03-04 2872
diffusion
去离焦模糊相关文献
YP_67689E4F的博客
04-27 1614
Whang, Jay, Mauricio Delbracio, Hossein Talebi, Chitwan Saharia, Alexandros G. Dimakis和Peyman Milanfar. 《Deblurring via Stochastic Refinement》, 16293–303, 2022.
Hierarchical Deep Click Feature Prediction for Fine-grained Image Recognition
02-11
### Hierarchical Deep Click Feature Prediction for Fine-grained Image Recognition #### 概述 本文提出了一种新的方法——层次化深度点击特征预测（Hierarchical Deep Click Feature Prediction），用于细粒度...
Constructing hierarchical visual tree for discriminative image representation and classification
02-10
在这篇文章中，研究者们提出了一种新的方法来构建层次化的视觉树（Hierarchical Visual Tree, HVT），这是一种在计算机视觉领域中用于图像分类的创新技术。层次化视觉树的构建，旨在组织大量的对象类别和图像概念，...
深度学习多GPU训练原理
https://github.com/heatMa
08-18 404
详细参考《动手学深度学习》P233，8.4节多GPU计算。
深度学习100问4-测量向量间相似度的方法有那些
yyq916的博客
08-24 105
它的值在 -1 到 1 之间，越接近 1 就说明正相关越强，越接近 -1 就说明负相关越强，0 就是不相关。比如有两个向量，一个是(2,3,4)，另一个是(3,4,5)，算一下均值和差值向量，就能算出皮尔逊相关系数是 1，说明这两个向量线性相关程度很高。比如有两个向量，一个是(1,1)，另一个是(2,2)，算一下它们的点积，再算一下模，然后就能算出余弦相似度是 1，这就说明这两个向量特别像。比如说在二维空间里有两个向量，一个是(1,2)，另一个是(4,5)，用欧氏距离的公式算一下，就能得到它们的距离。
深度学习100问2-分布式假设在自然语言处理中的应用场景有哪些
yyq916的博客
08-24 333
比如英语“ I love apples”和法语“J'aime les pommes”里，“love”和“aime”、“apples”和“pommes”就会被认为是对应的词，这样就能帮助建立翻译模型啦。在不同主题的文章里，根据分布式假设把词变成向量后，用聚类等方法就能发现和科技主题相关的文章里会有“技术”“创新”“研发”等词，娱乐主题的文章里会有“明星”“电影”“音乐”等词，这样就能区分不同主题的文章啦。比如一篇影评里有“精彩”“出色”这些词，它们的向量就能体现出积极的情感倾向，这样就能判断影评是积极的啦。
深度学习100问7-向量降维的算法有那些
yyq916的博客
08-24 123
t - SNE 会想办法把这些气球放在一个平面上，让原来在高维空间里离得近的气球在平面上也靠近，离得远的气球也离得远。这样我们一看这个平面，就能清楚地知道数据的分布情况，既降维了，又方便我们理解数据。但有些科目成绩关系很紧密，比如数学好的同学一般物理也不错，化学也还行。那 PCA 就会找这些成绩单里最主要的特点，把关系近的科目合成几个新的“大科目”。这样就把原来很多科目的高维向量变成几个“大科目”的低维向量啦。我们可以扔掉一些不那么重要的部分，这样就得到一本薄一点的书啦，也就是把高维的东西变成了低维的。
时序预测|基于贝叶斯BO-卷积-双向门控单元-注意力机制的单变量时间序列预测模型BO-CNN-BiGRU-Attention
2401_86241083的博客
08-20 1018
matlab版本要求2023a以上基于贝叶斯BO-卷积-双向门控单元-注意力机制的单变量时间序列预测本文提出了一种基于贝叶斯BO-卷积-双向门控单元-注意力机制的单变量时间序列预测方法，使用BO算法来优化CNN和BiGRU网络结构的超参数，同时添加了注意力机制提高模型的预测性能。为了提高代码的可读性和可维护性。该方法在多个公共数据集上进行了实验，结果表明该方法在预测单变量时间序列方面具有显著的优势，且与当前最先进的方法相比，能够显著提高预测性能。包括但不限于。
深度学习100问1-什么是分布式表示
yyq916的博客
08-24 128
学习分布式表示的方法有不看标签自己学的无监督学习，比如用自编码器，把数据压成低维编码再重建出来，这个编码就是分布式表示。还有在有监督学习任务里，像分类的时候，模型中间层的输出也可以当分布式表示用。要是用老办法，就像给每个单词都做个“名片”，这个名片上只有一个地方有数字 1，其他全是 0，这叫独热编码。分布式表示就不一样，它把每个东西，比如单词，变成一个比较短的、数字都不是 0 的向量。用这些向量可以知道单词之间的关系，方便做各种自然语言处理的任务，像给文章分类、判断感情是积极还是消极啥的。
自然语言处理系列三十五》 语义相似度》基于深度学习的语义相似度算法原理
weixin_52610848的博客
08-20 906
尽管DSSM及其变种在语义相似度计算方面提供了强大的工具，但它们也有一些限制。比如，DSSM作为一种端到端的模型，在某些情况下可能无法提供足够的控制，特别是在需要高准确性的场景中。另外，DSSM是一种弱监督模型，这意味着它需要大量的训练数据才能达到良好的性能，这对于大多数非搜索引擎业务来说可能难以实现。因此，在实际应用中，可能需要结合监督学习的方法和其他无监督特征提取技术来弥补这些缺陷。【配套新书教材】《自然语言处理原理与实战》（人工智能科学与技术丛书）【陈敬雷编著】【清华大学出版社】
深度学习100问6-什么是向量降维
yyq916的博客
08-24 165
在实际应用中，高维向量可能包含很多信息，但也可能存在一些冗余信息或者噪声。通过降维，可以去除这些冗余和噪声，同时还能减少计算量和存储空间。比如在数据分析中，如果数据的维度很高，处理起来会很复杂很耗时，降维后就可以更高效地进行分析和处理。打个比方，假如你有很多本书，要把它们放进一个小柜子里可能放不下，但是如果你把一些不太重要的书先拿出来，或者把几本书的内容整合一下，就能比较容易地放进小柜子里了。向量降维也是类似的道理。向量降维就是把高维的向量通过一定的方法转化为低维向量的过程。
深度学习--RNN以及RNN的延伸
GDHBFTGGG的博客
08-21 852
循环神经网络（Recurrent Neural Network, RNN）是一类能够处理序列数据的神经网络，在自然语言处理、时间序列分析等任务中得到了广泛应用。RNN能够通过其内部的循环结构，捕捉到序列中前后项之间的关系。
深度学习100问9-什么是word2vec模型
最新发布
yyq916的博客
08-24 130
Skip-gram 是通过中心词来预测周围的词，CBOW 则是通过周围的词来预测中心词。通过大量的文本数据进行训练后，Word2vec 可以得到高质量的词向量，这些词向量可以用于很多自然语言处理任务，比如文本分类、情感分析、机器翻译等。Word2vec 模型的作用就是给每个小盒子都找到一个对应的位置，这个位置用一个向量来表示。比如“猫”和“狗”，因为它们都是宠物，所以在 Word2vec 生成的向量空间中，它们对应的向量距离就会比较近。而“猫”和“飞机”，因为它们毫无关系，所以对应的向量距离就会很远。
joint autoregressive and hierarchical priors for learned image compression
04-29
联合自回归和分层先验学习图像压缩是一种基于机器学习算法的图像压缩技术。该技术的主要思想是利用自回归模型对图像的局部特征进行建模，并使用分层先验来对图像的全局特征进行建模。其目标是最大程度地减小图像压缩...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值