- 博客(5)
- 收藏
- 关注
RSS订阅原创 模态对齐与融合
思考：多模态本质就是alignment（对齐），那么问题就在于如何做对齐。有用entity的，有用attention的，有用event做alignment，然后再做fusion（融合）。融合有多种方法，例如Linking、Grounding、Structure等。感觉很多是简单粗暴的把representation concat再接个attention，怎样结构化的更高效对齐不同模态的信息或者哪些模态在一起更好aid each other这些方面没有什么好的insight。
2023-03-27 17:15:11
5868
原创 组织病理学
使用癌症分期，分子特征或临床变量已经可以完成风险分层。然而，改善预后见解是研究的活跃领域。预后指的是患者接受标准治疗后可能发生的结果，例如患者肿瘤复发，发生远处转移或死亡的可能性。H＆E整个图像图像很大，并且组织外观也多种多样。与查找有丝分裂或分割组织类型的方法不同，病理学家无法注释组织的哪些区域与患者的预后相关-至少没有很高的确定性。肿瘤分级是衡量细胞外观的指标，但并不总是衡量预后的良好指标。病理学家对分级的观察也具有很高的观察者间差异。其他模式如临床数据、基因组学和蛋白质组学也可用于生存模型。
2023-03-26 00:52:32
279
原创 OT 思考
根据任务的不同，特征掩码可以是特定于模态的，也可以对所有模态都相同（如 BraTS 数据集的情况）。在一份关于 MRI 的放射学报告中，放射科医师通常会观察和描述 T1 模态的解剖结构，以及 T2 模态的病理变化, 通过结合来自不同 MRI 模式的信号来推断病变的组成。两个主要临床要求：解释如何忠实地描述 AI 模型的内部决策过程，以及人类对解释合理性的评估如何指示模型的决策质量。2. 制定并解决了多模态图像解释的新颖且具有临床意义的问题，因为它是单模态图像解释的广义形式。
2023-03-14 19:45:45
107
原创 XAI可解释性
B). 如果单峰数据不相互补充或没有很强的相互依赖性，则后期融合可能更可取，因为与其他融合策略相比，它具有更简单的体系结构和更少的参数。在数据丢失或不完整的情况下，后期融合保留了做出预测的能力，因为每个模型都是单独训练的，并且即使缺少模态也可以应用多数表决等聚合。渐进融合允许将来自同一级别的高度相关通道的数据组合起来，迫使模型考虑特定模态之间的交叉相关性，然后在后面的层中与不太相关的数据融合。后期融合，也称为决策级融合，为每个模态训练一个单独的模型，并聚合来自各个模型的预测以进行最终预测。
2023-03-12 00:20:07
610
1
原创 基于可解释多模态深度学习的泛癌症整合组织-基因组分析
用的wsi中的patch（一个病人可能有多个wsi),而不是在ROI中去采样patch,对于patch切割的方式，采用不重叠的切割（大小为256*256），然后用一个Resnet-50+ fc（在ImageNet上预训练）的模型进行特征提取。AI驱动的数据融合策略（b.限制：该基因集合具有潜在的重叠功能影响（用人话说就是这些基因集合中可能有的基因表达的功能是重叠的，多个基因可能表达同一个功能），所以未来的工作将侧重于研究WSI与更细粒度、更独特的生物基因集的早期融合，进一步量化表型-基因型的对应关系。
2023-03-09 21:01:21
2144
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人