扩散模型
文章平均质量分 91
Angelina_Jolie
这个作者很懒,什么都没留下…
展开
-
什么是扩散模型(Diffusion Models),为什么它们是图像生成的一大进步?
也许过去十年在计算机视觉和机器学习方面的突破是GANs(生成式对抗网络)的发明——这种方法引入了超越数据中已经存在的内容的可能性,是一个全新领域的敲门砖,现在称为生成式建模。然而,在经历了一个蓬勃发展的阶段后,GANs开始面临平台期,其中大多数方法都在努力解决对抗性方法面临的一些瓶颈。这不是单个方法的问题,而是问题本身的对抗性。GANs的一些主要瓶颈是:图像生成缺乏多样性模式崩溃多模态分布问题学习训练时间过长由于问题表述的对抗性,不容易训练。原创 2024-05-25 09:58:19 · 794 阅读 · 0 评论 -
深入研究 Sora 的扩散Transformer(DiT)
扩散主要指的是粒子的散射现象——想想我们如何享受从云层后面窥视的柔和阳光。这种柔和的光芒可以归因于阳光穿过云层时的散射,导致光线向不同方向扩散。粒子的随机运动驱动这种扩散。这正是图像生成中使用的扩散模型所发生的情况。随机噪声被添加到图像中,导致图像中的元素偏离原始图像,从而为创建更精细的图像让路。当我们谈论图像模型的扩散时,要记住的关键概念是“噪声”。该过程从这里开始:[1]原创 2024-05-22 09:38:04 · 950 阅读 · 0 评论 -
CVPR24|指定参考图像的风格迁移!DEADiff:解耦图像风格和语义表示进行成对训练
本文提出了一种双解耦表示提取机制,分别获得参考图像的风格表示和语义表示,从学习任务的角度缓解了文本和参考图像之间的语义冲突问题。原创 2024-05-12 09:21:42 · 952 阅读 · 0 评论 -
BS-Diff | 扩散模型在骨抑制任务上的首次登场!
胸部 X 射线(CXR)是肺部筛查中常用的低剂量方式。然而,由于大约 75% 的肺部区域与骨骼重叠,这反过来又阻碍了疾病的检测和诊断,因此 CXR 的功效受到了一定程度的影响。作为一种补救措施,骨抑制技术已经问世。目前临床上使用的双能量减影成像技术需要昂贵的设备, 而且受试者会暴露在高辐射下。为了规避这些问题,人们提出了基于深度学习的图像生成算法。然而,现有方法在生成高质量图像和捕捉纹理细节(尤其是肺血管)方面存在不足。原创 2024-05-08 09:44:48 · 442 阅读 · 0 评论 -
CVPR 2024|NTU联合UM提出InteractDiffusion,即插即用的HOI交互扩散模型
作者首先为每个HOI三元组生成三个不同的主体、动作和客体token。原创 2024-05-04 14:33:56 · 1046 阅读 · 0 评论 -
Sora背后的技术《可控生成与文本到图像扩散模型》
然后,我们揭示了扩散模型的控制机制,从理论上分析了如何在去噪过程中引入新颖条件进行条件生成。此外,我们提供了这一领域研究的详细概述,从条件视角将其组织成不同的类别:具有特定条件的生成、具有多重条件的生成和通用可控生成。对于所调研的可控生成文献的详尽列表,请参考我们在https://github.com/PRIV-Creation/Awesome-Controllable-T2I-Diffusion-Models上的整理仓库。原创 2024-03-12 09:08:46 · 858 阅读 · 0 评论