跨模态处理
文章平均质量分 88
请站在我身后
这个作者很懒,什么都没留下…
展开
-
Mini-Omni:语言模型可以在流中听、说和思考
读论文《Mini-Omni: Language Models Can Hear, Talk While Thinking in Streaming》目前比较火的一篇论文,分享给大家。原创 2024-09-12 15:09:17 · 1160 阅读 · 0 评论 -
读论文《Sapiens: Foundation for Human Vision Models》
Sapiens 是由 Rawal Khirodkar 等人开发的一系列模型,旨在处理四个关键的以人为中心的视觉任务:2D 姿态估计、身体部位分割、深度预测和表面法线预测。这些任务对于理解图像中的人体和生成逼真的3D 人类模型至关重要。Sapiens 模型通过在大规模的野外人类图像数据集上进行自监督预训练,然后针对特定任务进行微调,以实现高性能。Sapiens 模型针对四项人工任务进行了微调 - 2D 姿势估计、身体部位分割、深度预测和法线预测。我们的模型适用于各种野外面部、上半身、全身和多人图像。原创 2024-09-11 17:48:16 · 743 阅读 · 0 评论 -
读论文《SHOW-O》8.22发布的贼强的大模型多模态理解和生成解决方案
Show-o,它统一了多模态理解和生成。与完全自回归模型不同,Show-o 统一了自回归和(离散)扩散建模,以自适应地处理各种混合模态的输入和输出。统一模型灵活地支持广泛的视觉语言任务,包括视觉问答、文本到图像生成、文本引导修复/外推和混合模态生成。在各种基准测试中,它展示了与现有单个模型相当或更好的性能,这些模型具有等效或更多为理解或生成而定制的参数。这显著凸显了其作为下一代基础模型的潜力。听着很厉害,不同模态完全混合。原创 2024-08-27 15:40:24 · 975 阅读 · 0 评论 -
读论文《ACN: Adversarial Co-training Network for Brain Tumor Segmentation with Missing Modalities》
论文题目;基于缺失模式的脑肿瘤分割的对抗性协同训练网络论文提出了一种新颖的对抗性协同训练网络(Adversarial Co-training Network, ACN),用于处理医学图像分割中缺失模态的问题。原创 2024-08-13 17:54:51 · 699 阅读 · 0 评论 -
读论文《PROTOTYPE KNOWLEDGE DISTILLATION FOR MEDICAL SEGMENTATION WITH MISSING MODALITY》
论文题目:缺失模态医学分割的原型知识蒸馏。原创 2024-08-13 17:46:33 · 956 阅读 · 0 评论 -
读论文《Variable Augmented Network for InvertibleModality Synthesis-Fusion》
可逆模态综合融合的变增广网络这篇论文提出了一种名为iVAN(invertible and variable augmented network)的方法,用于医学图像的合成和融合。原创 2024-07-29 11:21:47 · 1041 阅读 · 0 评论 -
读论文《Hi-Net: Hybrid-fusion Network for Multi-modalMR Image Synthesis》
磁共振成像(MRI)是一种广泛使用的神经成像技术,可以提供不同对比度(即模式)的图像。事实证明,融合这种多模态数据对于提高许多任务中的模型性能特别有效。然而,由于数据质量差和患者频繁退出,收集每个患者的所有模式仍然是一个挑战。医学图像合成是一种有效的解决方案,它从现有的图像中合成缺失的图像。在本文中,我们提出了一种用于多模态磁共振图像合成的新型混合融合网络(Hi-Net),它学习从多模态源图像(即现有模态)到目标图像(即缺失模态)的映射。原创 2024-07-23 11:53:32 · 862 阅读 · 1 评论 -
ResViT 代码复现和讲解
论文题目:ResViT: Residual vision transformers for multi-modal medical image synthesis一种新的用于多模态医学图像合成的生成对抗方法。原创 2024-07-22 16:28:55 · 279 阅读 · 0 评论 -
读论文《ResViT: Residual vision transformers for multi-modal medical image synthesis》
具有卷积神经网络(CNN)主干的生成对抗模型最近在许多医学图像合成任务中被建立为最先进的模型。然而,cnn被设计为使用紧凑过滤器执行局部处理,这种归纳偏差损害了上下文特征的学习。在这里,我们提出了一种新的医学图像合成生成对抗方法,即ResViT,它利用了视觉的上下文敏感性以及卷积算子的精度和对抗学习的真实感。ResViT的生成器采用了一个由新型聚合残差变压器(ART)模块组成的中心瓶颈,该模块协同结合了残差卷积和变压器模块。ART块中的残差连接促进捕获表示的多样性,而信道压缩模块提取任务相关信息。原创 2024-07-22 16:15:28 · 1087 阅读 · 0 评论 -
让像素艺术家失业!像素化代码实操教程
本文介绍大佬写的一篇图像像素化 的操作方式,十分简单!跟着来十分钟就好,大家可以用来生成自己的像素风格的头像之类的,代码详情有需要再讲。原创 2024-06-14 11:02:25 · 581 阅读 · 0 评论