![](https://i-blog.csdnimg.cn/direct/c5da85fdf7cb4ce498556b793558e1e2.jpeg?x-oss-process=image/resize,m_fixed,h_224,w_224)
文献阅读笔记
文章平均质量分 93
CV 、stable diffusion、medical、 generate image
viki_grace
这个作者很懒,什么都没留下…
展开
-
(多模态)CoDi:Any-to-Any Generation via Composable Diffusion
我们提出了可组合扩散(CoDi),这是一种新的生成模型,能够从任何输入模式组合生成任何输出模式组合,如语言、图像、视频或音频。与现有的生成式人工智能系统不同,CoDi可以并行生成多种模式,其输入不限于文本或图像等模式的子集。尽管缺乏许多模式组合的训练数据集,但我们建议在输入和输出空间中对齐模式。这使得CoDi可以自由地对任何输入组合进行条件处理,并生成任何一组模态,即使它们不存在于训练数据中。原创 2024-09-02 16:15:59 · 957 阅读 · 0 评论 -
(多模态)Versatile Diffusion: Text, Images and Variations All in One Diffusion Model
扩散模型的最新进展在许多生成任务中都取得了令人印象深刻的里程碑,而DALL-E2、Imagen和Stable diffusion等趋势作品引起了人们的极大兴趣。尽管形势变化很快,但最近的新方法关注的是扩展和性能,而不是容量,因此需要为单独的任务使用单独的模型。在这项工作中,我们将现有的单流扩散管道扩展为一个多任务多模态网络,称为通用扩散(VD),该网络在一个统一的模型中处理文本到图像、图像到文本和变体的多个流。VD的pipeline设计实例化了一个。原创 2024-09-02 15:09:18 · 553 阅读 · 0 评论 -
(多模态)MedM2G: Unifying Medical Multi-Modal Generation via CrossGuided Diffusion with Visual Invariant
医学生成模型以其高质量的样本生成能力而闻名,加速了医学应用的快速增长。然而,目前的研究主要集中在针对不同医疗任务的单独医学生成模型上,受限于医学多模态知识的不足,制约了医学的综合诊断。在本文中,我们提出MedM2G,即医学多模态生成框架,其关键创新是在统一模型内对齐、提取和生成医学多模态。超越单一或两种医疗模式,我们通过统一空间中的中心对齐方法有效地对齐医疗多模式。值得注意的是,我们的框架通过保留每个成像模态的医学视觉不变性来提取有价值的临床知识,从而增强了多模态生成的特定医学信息。通过将。原创 2024-08-29 11:46:42 · 666 阅读 · 0 评论