大脑图像重建
文章平均质量分 93
大脑成像如fMRI、脑电波等
通街市密人有
https://github.com/LinY-ct
展开
-
Reconstructing the Mind’s Eye fMRI-to-Image with Contrastive Learning and Diffusion Priors
我们提出MindEye,一种新的fMRI-to-image方法来检索和重建从大脑活动中看到的图像。我们的模型包括两个并行子模块,专门用于检索(使用对比学习)和重建(使用扩散先验)。MindEye可以将fMRI大脑活动映射到任何高维多模态潜在空间,如CLIP图像空间,使用生成模型接受来自该潜在空间的嵌入,从而实现图像重建。我们将我们的方法与其他现有方法进行全面比较,使用定性并排比较和定量评估,并表明MindEye在重建和检索任务中都达到了最先进的性能。原创 2023-07-07 13:19:57 · 503 阅读 · 0 评论 -
High-resolution image reconstruction with latent diffusion models from human brain activity
从人类大脑活动中重建视觉体验,为理解大脑如何代表世界,以及解释计算机视觉模型和我们的视觉系统之间的联系提供了独特的方法。虽然深度生成模型最近被用于这一任务,但重建具有高语义保真度的真实图像仍然是一个具有挑战性的问题。在这里,我们提出了一种基于扩散模型(DM)的新方法来重建通过功能磁共振成像(fMRI)获得的人脑活动图像。更具体地说,我们依赖于被称为稳定扩散的潜在扩散模型(LDM)。该模型降低了DM的计算成本,同时保留了它们的高生成性能。我们还通过研究LDM的不同组成部分(如图像zzz。原创 2023-03-06 22:39:06 · 3290 阅读 · 2 评论 -
Controlled Image Reconstruction from Human Brain Activity with Semantic and Structural Diffusion
从测量的功能磁共振成像(fMRI)中重建视觉刺激是一项有意义且具有挑战性的任务。先前的研究已经成功地实现了与原始图像相似的结构重建,例如一些自然图像的轮廓和大小。然而,这些重构缺乏明确的语义信息,难以识别。近年来,许多研究利用生成能力较强的多模态预训练模型来重建语义上与原始图像相似的图像。然而,这些图像具有不可控的结构信息,如位置和方向。为了同时解决上述两个问题,我们提出了一个两阶段的图像重建模型,称为MindDiffuser,利用稳定扩散。原创 2023-07-07 13:07:13 · 301 阅读 · 0 评论