【CVPR 2023的AIGC应用汇总(1)】图像转换/翻译，基于GAN生成对抗/diffusion扩散模型
【CVPR 2023的AIGC应用汇总(2)】可控文生图，基于diffusion扩散模型/GAN生成对抗
【CVPR 2023的AIGC应用汇总（3）】GAN改进/可控生成的方法10篇
【CVPR 2023的AIGC应用汇总(4)】图像恢复，基于GAN生成对抗/diffusion扩散模型
【CVPR 2023的AIGC应用汇总(5)】语义布局可控生成，基于diffusion扩散/GAN生成对抗
1、High-resolution image reconstruction with latent diffusion models from human brain activity
从人类脑活动中重构视觉体验，为我们理解大脑如何表示世界提供了独特的方式，同时也解释了计算机视觉模型与我们视觉系统之间的联系。尽管最近有研究工作使用深度生成模型来完成这项任务，但重构具有高语义保真度的逼真图像仍然是一个具有挑战性的问题。
本文提出一种基于扩散模型（DM）的新方法，通过功能性磁共振成像（functional magnetic resonance imaging，fMRI）从人脑活动来重构出图像。更具体地说，依赖Stable Diffusion的潜在扩散模型（LDM），该模型降低了DM的计算成本，同时保持了其高生成性能。通过研究LDM的不同组成部分（例如图像的潜在向量Z、条件输入C以及去噪U-Net的不同元素）与不同的脑功能之间的关系，表征了LDM的内部机制。
方法可以在简单的方式下重构具有高保真度的高分辨率图像，而不需要任何额外的训练和精调复杂的深度学习模型。还提供了从神经科学角度对不同LDM组件的定量解释。总体而言，研究提出了一种重构人类脑活动中图像的有前途的方法，并为理解DM提供了新的框架。网页https://sites.google.com/view/stablediffusion-withbrain/
2、 Leveraging GANs for data scarcity of COVID-19: Beyond the hype
基于人工智能（AI）的模型可以帮助通过肺CT扫描和X射线图像诊断COVID-19；然而，这些模型需要大量的数据进行训练和验证。许多研究人员研究了生成对抗网络（GANs）来生成合成肺CT扫描和X射线图像，以提高基于AI的模型的性能。目前并不清楚基于GAN的方法的生成可靠性如何。本文分析了43篇报告GANs用于合成数据的研究，其中许多研究存在数据偏差、缺乏可重复性和缺乏来自放射学家或其他领域专家的反馈。这些研究中的一个普遍问题是源代码不可用，从而妨碍了可重复性。
尽管基于 GAN 的方法具有数据增强和改进基于 AI 模型的训练的潜力，但这些方法在临床实践中的使用方面存在不足。本文重点介绍了应对数据稀缺问题的研究热点，确定了各种问题和潜力，并提出了指导未来研究的建议。这些建议可能有助于提高基于 GAN 的数据增强方法的可接受性，因为用于数据增强的 GAN 在 AI 和医学成像研究社区中越来越受欢迎。
3、Solving 3D Inverse Problems using Pre-trained 2D Diffusion Models
扩散模型已经成为具有高质量样本的新一代最佳生成模型，具有不错的优势，如模式覆盖和高灵活性。它们还被证明可以有效地解决逆问题，作为分布的先验，而前向模型的信息可以在采样阶段获得。然而，由于生成过程仍然处于相同的高维空间(即与数据维数相同)，因此这些模型尚未扩展到3D逆问题（3D inverse problem），因为其极高的内存和计算成本。
这篇论文中，将传统的基于模型的迭代重建的想法与现代扩散模型相结合，构建了一种在解决3D医学图像重建任务(如稀疏视图断层扫描、有限角度断层扫描和压缩感测MRI)方面非常有效的方法，这些任务是从预先训练的2D扩散模型中得出的。本质上，在测试时通过2D扩散先验与基于模型的先验来增强剩余方向，从而实现所有维度的连贯重建。
方法可以在单个消费级GPU上运行，并确立了新的最佳实践方法，表明所提出的方法能够在最极端的情况下(如2视图3D断层扫描)实现高保真和准确的重建。进一步揭示，所提出方法的泛化能力非常之高，可用于重建与训练数据集完全不同的volume。
猜您喜欢：
深入浅出stable diffusion：AI作画技术背后的潜在扩散模型论文解读
深入浅出ControlNet，一种可控生成的AIGC绘画生成算法！
最新最全100篇汇总！生成扩散模型Diffusion Models
附下载 |《TensorFlow 2.0 深度学习算法实战》
《礼记·学记》有云：独学而无友，则孤陋而寡闻
点击 一顿午饭外卖，成为CV视觉的前沿弄潮儿！，领取优惠券，加入 AI生成创作与计算机视觉 知识星球！
176
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
