医学图像理解
文章平均质量分 87
君一兮
在黑白里温柔地爱彩色,在彩色里虔诚地朝圣黑白
展开
-
A Self-boosting Framework for Automated Radiographic Report Generation
A Self-boosting Framework for Automated Radiographic Report Generation模型概述模型整体架构模型详解模型概述这篇Paper提出一种自增强框架来改进放射学报告的生成。该框架包含两个分支:主任务——报告生成,辅助任务——图文匹配。这两个任务以相互合作的方式互相影响。一方面,图像文本匹配分支有助于为报告生成分支学习与文本高度相关的视觉特征,从而输出高质量的报表。另一方面,由报告生成分支生成的改进报告为图像-文本匹配分支提供了额外的更难的样本,原创 2022-03-17 10:55:10 · 4318 阅读 · 0 评论 -
Exploring and Distilling Posterior and Prior Knowledge for Radiology Report Generation
Exploring and Distilling Posterior and Prior Knowledge for Radiology Report Generation(探索和提炼后验和先验知识的放射学报告生成)先验与后验目前的放射学报告生成的局限性Paper的贡献模型详解模型输入模型主要部分先验与后验在阅读这篇Paper之前,我们首先需要明确什么是先验和后验。先验是指根据以往经验和分析,而后验是指基于新的数据,对原来的先验修正。通俗而言,先验知识:这些柿子红了,肯定已经熟了后验知识:我刚刚吃原创 2022-03-15 08:37:18 · 1766 阅读 · 2 评论 -
UNIMO: Towards Unified-Modal Understanding and Generation via Cross-Modal Contrastive Learning
UNIMO: Towards Unified-Modal Understanding and Generation via Cross-Modal Contrastive Learning(通过跨模态对比学习实现统一模态的理解和生成)1.现有方法的不足:目前的方法要么只能专注于单模态的任务,要么只能专注于多模态任务,而不能将这二者有机地统一在一起互相补充2.创新点:提出UNIMO这一统一模态的预训练架构,可以有效地适应单模态和多模态的理解和生成任务。预训练可以包含三部分:单一的image、单一的te原创 2022-01-22 23:52:08 · 3494 阅读 · 0 评论 -
关于对比学习在医学图像理解中两篇Paper的思考
Contrastive Learning of Medical Visual Representations From Paired Images And Text成对图像和文本中医学视觉表征的对比学习创新点: 只需要10% ImageNet的labeled data就能达到同样的或者更好的效果模型解释: 提出了ConVIRT模型——一个通过利用图像和文本数据的自然配对来学习visual representation的框架a) 输入成对的Image和Reportb) 以图像为例,通过采样变换函数原创 2022-01-11 21:52:00 · 4786 阅读 · 2 评论