【ICLR 2023】Diffusion Models扩散模型和Prompt Learning提示学习：prompt-to-prompt

最新推荐文章于 2024-03-19 20:29:37 发布
最新推荐文章于 2024-03-19 20:29:37 发布
阅读量3.8k 收藏 16
点赞数 4
分类专栏： Diffusion Models与深度学习 文章标签： 扩散模型 diffusion model prompt learning 提示学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41895747/article/details/127327902
版权

Diffusion Models专栏文章汇总：入门与实战

前言：今年prompt learning提示学习和diffusion models扩散模型实在是太火了，最新的ICLR 2023的一项工作把两者结合了起来，取得了十分惊艳的效果！正好昨天代码刚刚开源，这篇博客就和大家一起解读一下原理与代码！

目录

贡献概述

图像编辑技术为什么是困难的？

真正的text-to-image编辑

论文和代码

天选之子：cross-attention

炸裂的实验效果

代码详细解读

贡献概述

图像编辑技术为什么是困难的？

编辑对于这些生成模型来说是具有挑战性的，因为编辑技术的固有属性是保留原始图像中的一些内容，而在基于文本的模型中，即使是对文本提示符的一个很小的修改通常也会导致完全不同的结果。最新的方法通过要求用户提供空间掩码来本地化编辑，从而缓解了这一问题，因此忽略了掩码区域内的原始结构和内容。

例如下图的GLIDE图片编辑工作，需要先加入mask才能编辑新的部分：

了解本专栏 订阅专栏 解锁全文 超级会员免费看
沉迷单车的追风少年
关注
  • 4
    点赞
  • 踩
  • 16
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 6
    评论
专栏目录
订阅专栏
​ICLR 2023 | 图数据分布外检测：从能量模型出发
Paper weekly
03-02 905
©PaperWeekly 原创 ·作者 |吴齐天单位 | 上海交通大学博士生研究方向 | 机器学习与图深度学习继续探索 Graph OOD 的相关问题，与以往工作不同的是，这篇工作避开了复杂的数学推导和琐碎的数据生成过程，直接从简单有效的判别模型入手研究图上的 OOD 检测问题。论文题目：Energy-based Out-of-Distribution Detection for Graph ...
ICLR 2023 | 扩散生成模型新方法：极度简化，一步生成
idol24的博客
03-01 745
©作者 |刘星超德州大学奥斯汀分校方向 生成式模型本文编辑paperweeklyDiffusion Generative Models（扩散式生成模型）已经在各种生成式建模任务中大放异彩，但是，其复杂的数学推导却常常让大家望而却步，缓慢的生成速度也极大地阻碍了研究的快速迭代和高效部署。研究过 DDPM 的同学可能见到过这种画风的变分法（Variational Inference）推导（...
diffusion model(十四)： prompt-to-prompt 深度剖析
最新发布
weixin_40779727的博客
03-19 1465
基于扩散模型（
Prompt-to-Prompt Image Editing with Cross Attention Control
qq_50465499的博客
05-26 654
我们的方法通过仅编辑文本提示来构建直观的图像编辑界面，因此称为Prompt-to-Prompt。这种方法可以实现各种编辑任务，否则具有挑战性，并且不需要模型训练、微调、额外数据或优化。在整个分析中，我们发现对生成过程的控制更多，认识到编辑提示和源图像的保真度之间的权衡。甚至我们证明，我们的方法可以通过使用现有的反演过程应用于真实图像。我们的实验和大量结果表明，我们的方法能够在极其多样化的图像上以直观的基于文本的方式无缝编辑。
Prompt-To-Prompt——仅通过文本进行图像编辑
持续关注并分享目标检测、数据生成、视频驱动、跨模态、分割、关键点等领域前沿技术
09-18 1125
Prompt-to-Prompt，google research出品，仅通过prompt，无需mask即可控制进行图像编辑。
“Prompt-to-Prompt Image Editing with Cross Attention Control ”代码分析（一）
yoonaanna的博客
10-26 788
交叉注意力可视化，文生图
Transfer-learning-materials:收集资源以进行转移学习！
05-07
Materials for transfer learning , update: (2021,3,5) 新增video DA papers (2021,3,3) 新增1个video DA contest (Domain Adaptation for Action Recognition) (2021,2,25）新增 2个 CVPR 2020 workshop and 1个 ...
self-label:通过同时聚类和表示学习进行自我标记。 （ICLR 2020）
04-24
通过同时聚类和表示学习进行自我标记 :OK_button: :OK_button: :party_popper: 新模型（2020年8月20日）：添加了标准的SeLa预训练的Torchvision ResNet模型，使加载变得更加轻松+使用更好的MoCov2增强功能（〜69％LP...
pytorch-ensembles:深度学习中域内不确定性估计和组合的陷阱，ICLR 2020
05-03
PyTorch的官方实现： 深度学习中域内不确定性估计和集合的陷阱，ICLR'20 / / // 海报视频（5分钟） 环境设定 以下内容允许使用创建并运行具有所有必需依赖项的python环境： conda env create -f condaenv.yml ...
awesome-graph-networks:图模型和图网络的材料
05-08
真棒图网络 图模型和图网络的材料1.概率图模型幻灯片在课程首页中2.图神经网络（1）博客一个好的博客，介绍图covolutional网络（2）论文 具有快速局部光谱滤波的图形卷积神经网络（NIPS 2016） 图注意力网络（ICLR ...
MMT:[ICLR-2020]相互平均教学
03-21
我们进行了代码重构，以支持分布式培训和更多功能。请参阅 。 [2020年3月27日] 我们在撰写了有关该论文的中文博客。 [2020年3月20日] 我们支持基于DBSCAN的MMT ，它可以实现更好的性能。请注意，我们有效地加快了...
ICLR2023 | 基于能量受限扩散的可扩展transformer
DrugAI
11-14 134
今天为大家介绍的是来自严骏驰教授团队的一篇论文。现实世界数据生成通常错综复杂，与标准学习方法中的独立同分布数据假设相去甚远，这对于揭示学习实例表示的几何结构构成了挑战。为此，作者引入了一种能量受限扩散模型，通过它们的相互作用将数据集中的实例信息相互传递。实验证明了作者的模型在各种任务中作为通用编码器的广泛适用性，具有出色的性能。现实世界的数据是从复杂的交互过程中生成的，其潜在原理通常是未知的。这种性质与标准表示学习范式的常见的数据是独立同分布的假设不同。
ICLR 2023 | 漂移感知动态神经网络：基于贝叶斯理论的时间域泛化框架
Paper weekly
02-24 415
©作者 |机器之心编辑部来源|机器之心在领域泛化 (Domain Generalization, DG) 任务中，当领域的分布随环境连续变化时，如何准确地捕捉该变化以及其对模型的影响是非常重要但也极富挑战的问题。为此，来自 Emory 大学的赵亮教授团队，提出了一种基于贝叶斯理论的时间域泛化框架 DRAIN，利用递归网络学习时间维度领域分布的漂移，同时通过动态神经网络以及图生成技术的结合最大...
ICLR2023 Workshop：这次我们在新大陆探索自动驾驶
CV_Autobot的博客
01-20 665
01会议简介国际学习表征会议 ICLR（International Conference on Learning Representations）作为深度学习领域的顶级会议，在谷歌发布的人工智能领域“top publication”排名中位列前十。ICLR 将于 2023 年5月1-5日在卢旺达举办第十一届会议，这是机器学习领域顶会首次在非洲国家举办，这将会极大促进非洲国家科技发展及民众对前沿科技...
【ICLR 2023】详细解读DiffEdit：基于扩散模型的图像编辑革命性成果
沉迷单车的追风少年
12-13 2348
ICLR 2023的第一轮rebuttal已经放榜，这次的ICLR出现了非常多的diffusion models论文，很多工作都非常有创意，值得详细解读。这篇要介绍的是DiffEdit，这个工作取得了所有审稿人的accept肯定，无论是论文还是实验效果都非常优秀，能够出色利用文本条件扩散模型进行语义图像编辑任务。
ICLR2023论文速递！共1573篇！已形成AI模型总结！
AI_Conf的博客
04-10 1270
论文PDF免费下载
人工智能顶会ICLR2023《Is Conditional Generative Modeling all you need for Decision Making?》论文解读
red_guy的博客
12-07 1615
探索条件生成建模在顺序决策制定中的应用，特别是在离线强化学习的环境下。作者认为，通过使用条件生成模型（如扩散模型），可以绕过传统离线强化学习中的复杂动态规划过程，并解决价值函数估计的不稳定性等问题。 **论文的创新点**在于提出了一种名为**“决策扩散器”（Decision Diffuser）的框架**，它使用条件扩散模型来进行决策生成。这种方法不仅可以最大化回报，还可以灵活地结合多种约束和技能，以产生新的行为。这种方法在实验中显示出优于传统方法的性能，展示了条件生成模型在决策制定中的潜力。
ICLR 2023 | 如何融合进化算法与强化学习打破性能瓶颈？
Paper weekly
06-02 1684
©PaperWeekly 原创 ·作者 |李鹏翼单位 |天津大学研究方向 |演化强化学习论文题目：ERL-Re: Efficient Evolutionary Reinforcement Learning with Shared State Representation and Individual Policy Representation论文链接：https://arxiv.org/a...
提示学习在图像处理中的应用
06-12
图像处理在许多领域都有广泛的应用，如医学图像处理、计算机视觉、图像识别、图像增强、图像压缩等。在医学领域，图像处理技术可以帮助医生更好地诊断病情，如CT图像、MRI图像等；在计算机视觉领域，图像处理技术可以用来实现人脸识别、场景识别、目标跟踪等。在图像增强方面，可以利用图像处理技术提高图像的质量，如去噪、去模糊、增加对比度等。在图像压缩方面，图像处理技术可以实现高效的图像压缩算法，如JPEG、PNG等。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 6
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

沉迷单车的追风少年

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值