【CVPR 2023的AIGC应用汇总(1)】图像转换/翻译,基于GAN生成对抗/diffusion扩散模型
【CVPR 2023的AIGC应用汇总(2)】可控文生图,基于diffusion扩散模型/GAN生成对抗
【CVPR 2023的AIGC应用汇总(3)】GAN改进/可控生成的方法10篇
【CVPR 2023的AIGC应用汇总(4)】图像恢复,基于GAN生成对抗/diffusion扩散模型
【CVPR 2023的AIGC应用汇总(5)】语义布局可控生成,基于diffusion扩散/GAN生成对抗
1、High-resolution image reconstruction with latent diffusion models from human brain activity
从人类脑活动中重构视觉体验,为我们理解大脑如何表示世界提供了独特的方式,同时也解释了计算机视觉模型与我们视觉系统之间的联系。尽管最近有研究工作使用深度生成模型来完成这项任务,但重构具有高语义保真度的逼真图像仍然是一个具有挑战性的问题。
本文提出一种基于扩散模型(DM)的新方法,通过功能性磁共振成像(functional magnetic resonance imaging,fMRI)从人脑活动来重构出图像。更具体地说,依赖Stable Diffusion的潜在扩散模型(LDM),该模型降低了DM的计算成本,同时保持了其高生成性能。通过研究LDM的不同组成部分(例如图像的潜在向量Z、条件输入C以及去噪U-Net的不同元素)与不同的脑功能之间的关系,表征了LDM的内部机制。
方法可以在简单的方式下重构具有高保真度的高分辨率图像,而不需要任何额外的训练和精调复杂的深度学习模型。还提供了从神经科学角度对不同LDM组件的定量解释。总体而言,研究提出了一种重构人类脑活动中图像的有前途的方法,并为理解DM提供了新的框架。网页https://sites.google.com/view/stablediffusion-withbrain/
2、 Leveraging GANs for data scarcity of COVID-19: Beyond the hype
基于人工智能(AI)的模型可以帮助通过肺CT扫描和X射线图像诊断COVID-19;然而,这些模型需要大量的数据进行训练和验证。许多研究人员研究了生成对抗网络(GANs)来生成合成肺CT扫描和X射线图像,以提高基于AI的模型的性能。目前并不清楚基于GAN的方法的生成可靠性如何。本文分析了43篇报告GANs用于合成数据的研究,其中许多研究存在数据偏差、缺乏可重复性和缺乏来自放射学家或其他领域专家的反馈。这些研究中的一个普遍问题是源代码不可用,从而妨碍了可重复性。
尽管基于 GAN 的方法具有数据增强和改进基于 AI 模型的训练的潜力,但这些方法在临床实践中的使用方面存在不足。本文重点介绍了应对数据稀缺问题的研究热点,确定了各种问题和潜力,并提出了指导未来研究的建议。这些建议可能有助于提高基于 GAN 的数据增强方法的可接受性,因为用于数据增强的 GAN 在 AI 和医学成像研究社区中越来越受欢迎。
3、Solving 3D Inverse Problems using Pre-trained 2D Diffusion Models
扩散模型已经成为具有高质量样本的新一代最佳生成模型,具有不错的优势,如模式覆盖和高灵活性。它们还被证明可以有效地解决逆问题,作为分布的先验,而前向模型的信息可以在采样阶段获得。然而,由于生成过程仍然处于相同的高维空间(即与数据维数相同),因此这些模型尚未扩展到3D逆问题(3D inverse problem),因为其极高的内存和计算成本。
这篇论文中,将传统的基于模型的迭代重建的想法与现代扩散模型相结合,构建了一种在解决3D医学图像重建任务(如稀疏视图断层扫描、有限角度断层扫描和压缩感测MRI)方面非常有效的方法,这些任务是从预先训练的2D扩散模型中得出的。本质上,在测试时通过2D扩散先验与基于模型的先验来增强剩余方向,从而实现所有维度的连贯重建。
方法可以在单个消费级GPU上运行,并确立了新的最佳实践方法,表明所提出的方法能够在最极端的情况下(如2视图3D断层扫描)实现高保真和准确的重建。进一步揭示,所提出方法的泛化能力非常之高,可用于重建与训练数据集完全不同的volume。
猜您喜欢:
深入浅出stable diffusion:AI作画技术背后的潜在扩散模型论文解读
深入浅出ControlNet,一种可控生成的AIGC绘画生成算法!
最新最全100篇汇总!生成扩散模型Diffusion Models
附下载 |《TensorFlow 2.0 深度学习算法实战》
《礼记·学记》有云:独学而无友,则孤陋而寡闻
点击 一顿午饭外卖,成为CV视觉的前沿弄潮儿!,领取优惠券,加入 AI生成创作与计算机视觉 知识星球!