CLAM：基于全幻灯片图像的数据高效和弱监督的计算病理学

最新推荐文章于 2024-12-13 00:58:44 发布
最新推荐文章于 2024-12-13 00:58:44 发布
阅读量4.3k 收藏 22
点赞数 4
分类专栏： 医学图像处理 文章标签： 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_37856444/article/details/119737204
版权

CLAM：基于全幻灯片图像的数据高效和弱监督的计算病理学

前提知识：

MIL多示例学习：

CLAM处理的是多分类问题，对于输入的WSI图，根据它的形态学特征可以分为N个类别，一张WSI图只能属于其中的一个类。（比如WSI图共有三个类别：a b c，一张WSI只属于a b c中的一类）。若一张WSI图属于某一类，则这个WSI图的所划分出来的所有patch都属于这一类。

CLAM模型的流程解释：

a：

  1. 对原始WSI图像进行语义分割，去掉背景
  2. 对取出来的这个图像划分成M个Patch（每个patch256*256pixels）

b：

  1. 对于每个patch，逐个输入到ResNet50中，进行特征提取，降维，输出一个xx维度的向量z_k
  2. 对于（1）输出的向量，使其输入一个Attention backbone，输出对这个向量的attention评分
  3. 因为共有M个patch，所以（2）输出有M个向量，attention backbone还将这M个向量分成N个类，进入了N条分支。这N个类中有一类是原始WSI所属的类。
  4. 对于每个分好了类别的patch，最终将经过一系列“操作”，输出一个向量s，这个向量s有 N维，代表了每个patch所代表的类跟真实标签之间的关系轻重度。最终这个向量s再经过一个“操作”，根据已知s来预测这个WSI图的标签。最终这个预测的WSI标
最低0.47元/天 解锁文章
CLAM模型使用教程
写代码的犄角旮瘩
02-22 397
步长，这里可以理解为相邻patch之间的距离，如果设为patch大小，那么表示patch之间不重叠。：WSI的文件夹路径，将所有WSI放在一个文件夹内，可以实现批量化处理。**save_dir **：剪切后的patch、mask等文件保存路径。运行CLAM代码中的create_patches_fp.py文件。
保姆级教程，带你复现病理AI的经典模型CLAM（一）｜项目复现·24-08-19
罗小罗同学的博客
08-19 7782
CLAM（Clustering-constrained Attention Multiple Instance Learning）是一种基于深度学习的弱监督方法，用于高效和弱监督的全切片级分析。自动分割：CLAM首先对全切片图像进行自动分割，识别出组织区域。这通常涉及到将图像转换到HSV颜色空间，并使用饱和度通道进行阈值处理，以提取组织区域。特征提取：在分割之后，CLAM利用深度卷积神经网络（CNN）为每个分割出的补丁计算低维特征表示。这通常涉及到使用预训练的CNN模型，如ResNet50，来提取特征。
CLAM:完整幻灯片图像上的高效数据和弱监督计算病理学
04-14
蛤 整个幻灯片图像上的数据高效和弱监督计算病理学。 自然生物医学工程 | | | TL; DR： CLAM是一种高通量且可解释的方法，可使用幻灯片级别的标签对数据进行有效的整个幻灯片图像（WSI）分类，而无需任何ROI提取或补丁级别的注释，并且能够处理多类子类型化问题。 经过训练的模型在三个不同的WSI数据集上进行了测试，可适应WSI切除和活检以及智能手机显微镜图像（显微照片）的独立测试队列。 CLAM：基于深度学习的管道，可进行高效数据和无监督的全幻灯片级别分析 ••••••••预打印•演示•引用 CLAM如何工作？ 聚类约束的注意力多实例学习（CLAM）是一种基于深度学习的弱监督方法，该方法使用基于注意力的学习来自动识别具有较高诊断价值的子区域，以便准确地对整个幻灯片进行分类，同时还利用实例代表区域上的高级别聚类，以约束和完善特征空间。 :copyright: Mahmood Lab-此代码在GP
论文阅读CLAM：Data-efficient and weakly supervised computational pathology on whole-slide images
jxloveysq的博客
09-26 7113
全视野数字切片（幻灯片/WSIs）图像的数据高效和弱监督的计算病理学 一．WSIs图像介绍 主要应用于病理学细胞图像领域，即组织载玻片到数字格式的转换。 每张内存大，可以放大倍数检索。 主要存在的特点： 内存占比高 分辨率高 标注难度大 小结 论文主要概要 计算病理学的深度学习方法需要人工标注10亿像素全幻灯片图像(WSIs)或带有幻灯片级标签的大型WSIs数据集，而且通常存在较差的域适应性和可解释性。在这里，我们提出了一种可解释的弱监督深度学习方法，用于数据高...
一个全自动病理处理分析工具——CLAM
qq_42894217的博客
07-19 4896
CLAM是一种基于深度学习的数据高效、弱监督的全幻灯片（WSI）级的全自动分析工具， 是一种高通量且可解释的方法，使用WSI级标签对整个WSI图像 进行数据高效分类，可自动识别WSI中的组织区域，并提取patch坐标，并自动提取patch级别的特征，但并不真正对patch进行提取和保存，减少计算资源的消耗和内存的占用，可在无需进行ROI标注或者patch级别标签的情况下，基于注意力机制和多示例学习自动识别具有高诊断价值的patch，进而实现整个WSI的实例级别分类。
CLAM：病理AI发展里程碑，建议每一个研究病理AI的人都了解的文章｜24-08-16
罗小罗同学的博客
08-15 4824
这篇文章提出了一种名为CLAM（Clustering-constrained-attention multiple-instance learning）的高通量深度学习框架，用于解决全幅切片图像（WSIs）计算病理学中的关键挑战。一作&通讯作者单位Ming Y. Lu研究背景问题：数字病理学和人工智能的发展使得分析千兆像素全幅切片图像（WSIs）进行客观诊断、预后和治疗反应预测成为可能。然而，深度学习方法在处理WSIs时面临数据量大、标注成本高、领域适应性和可解释性差等挑战。
CVPR2023病理图像无监督学习：Visual Language Pretrained Multiple Instance Zero-Shot Transfer for Histopathology
dejahu的博客
12-13 1374
基本介绍中，作者主要是对论文的动机进行了描述，给出了这项研究的重要性，主要是对以往的方法进行总结，说明缺少一个wsi图像的无监督模型。目前，弱监督的方法已经在wsi模型上成为了主流，进行弱监督的主要步骤是：1）管理大型患者队列（N > 1000个样本），2）将WSI解开并标记为一系列补丁特征，3）使用标签来训练学习聚集补丁特征以进行预测的载玻片分类器，以及4）将载玻片分类器转移到下游临床部署。这里相当于直接将分散的patch的特征进行学习，之后集合这些特征一起对载玻片形式的图像进行预测。
CLAM——论文笔记
weixin_41693877的博客
05-30 9221
最近看了一篇有关多示例学习的paper，题目为Data Efficient and Weakly Supervised Computational Pathologyon Whole Slide Images，对里面提出的模型比较感兴趣，特此做一下笔记。 github地址：https://github.com/mahmoodlab/CLAM paper地址：https://arxiv.org/abs/2004.09666 笔记 这篇paper提出了一个Clustering-constrained Atten
（CNS复现）CLAM——Chapter_00
热门推荐
qq_40966210的博客
05-30 2万+
（CNS复现）CLAM——Chapter_00 文章目录（CNS复现）CLAM——Chapter_00前言一、CLAM介绍环境配置二、官方使用步骤Step.00 : Down_Load_DataSetStep.01 : WSI Segmentation and PatchingStep.02 : Feature ExtractionStep.03 : data splitStep.04 : trainingStep.05 : evalStep.06 : Heatmap Visualization总结 前
跑通CLAM
qq_34532413的博客
05-16 7026
项目场景： 从github上下载CLAM代码，上传Camelyon-16中的部分WSI图像，将代码跑通。 CLAM项目地址： GitHub - mahmoodlab/CLAM: Data-efficient and weakly supervised computational pathology on whole slide images - Nature Biomedical EngineeringData-efficient and weakly supervised computational
CLAM用于弱监督WSI分析
白景屹的博客
07-04 1742
CLAM：注意力MIL用于WSI
（CNS复现）CLAM——Chapter_02
qq_40966210的博客
05-31 4611
（CNS复现）CLAM——Chapter_02 文章目录（CNS复现）CLAM——Chapter_02前言Step-01: importsStep-02:初始化配置信息Step-03:调试代码Step-03.01 初始化配置文件Step-03.02 初始化WSIStep-03.03 初始化分割patch参数Step-03.04 patch 分割步骤解读 前言 （CNS复现）CLAM——Chapter_00 （CNS复现）CLAM——Chapter_01 这一部分主要是针对数据预处理的了解 create_
用中文的表达润色以下句子：训练用于计算病理学的深度学习方法，需要对具有千兆像素的全切片病理图像(Whole Slide Images,WSI)进行人工标注，或者需要标注了全切片级别标签的大型病理图像数...
weixin_42593701的博客
02-17 203
在本文中，我们提出了一种可解释的弱监督深度学习方法——聚类约束注意多实例学习(Clustering-constrained-attention Multiple-instance Learning, CLAM)，它可以有效地处理和学习具有千兆像素的全切片病理图像(Whole Slide Images,WSI)，而不需要进行人工标注，也不需要大型病理图像数据集标注了全切片级别标签。CLAM通过注意力...
纯小白为了实现Camelyon16 数据集的分割和特征提取（基于CLAM的代码和AutoDL服务器）所走的弯路
Hans_Y的博客
05-18 2773
此贴纯纯记录一下小半个月来的时间里为了复现 CLAM 走的弯路和心路历程。
（CNS复现）CLAM——Chapter_01
qq_40966210的博客
05-30 6042
（CNS复现）CLAM——Chapter_01 文章目录（CNS复现）CLAM——Chapter_01前言Step-01: importsStep-02:初始化配置信息Step-03:调试代码Step-03.01 初始化配置文件Step-03.02 初始化WSIStep-03.03 分割细节解读获取描边和空洞 前言 接着上一篇文章：（CNS复现）CLAM——Chapter_00 这一部分主要是针对数据预处理的了解 create_patches_fp.py 中获取 mask 的方法和具体流程 Step-
如何使用CLAM进行病理图像的特征提取
2301_76236009的博客
12-12 1551
那么根据我的下采样倍率，40 / 2 = 20，那么我可以downsample level 为 1的时候直接在20x下切512的块，假如我的下采样倍率是1, 4, 16呢？patch_size是切块大小，step_size为滑动的大小，这里都设置为512，表明无重叠的在downsample level 为 1的情况下切512的块.CUDA_VISIBLE_DEVICES是选择在特征提取时使用哪张显卡，显卡0还是显卡1，这里不推荐使用双卡跑，你可以开两个终端，跑不同的任务。
计算病理学：利用CLAM将svs组织病理图分割为patch，并保存为png
qq_45034078的博客
11-08 540
最近在研究CLAM的数据预处理部分。CLAM可以将组织病理图划分为patch，存为hdf5文件，后续从hdf5文件中提取特征。可用以下代码读取处理好的hdf5文件，从wsi中划分出patch，保存为png格式。但源码中好像并没有如何从hdf5文件中的patch读出来，存为png可视化查看。
“AI+病理学”会是未来医学的智慧引擎吗？|干货
AITIME_HY的博客
09-20 509
点击蓝字关注我们AI TIME欢迎每一位AI爱好者的加入！病理学是医学领域中至关重要的一门学科，通过研究组织、细胞和病变的微观结构，病理医生能够为临床医生提供关键的诊断信息。随着临床数据的不断增加和医学知识的不断扩展，传统的病理学方法面临着诸多挑战。而人工智能与病理学、临床实践的融合，为病理学带来了全新的机遇，正开辟出全新的可能性。2023年8月24日，AI TIME第十八期PhD Debate活...
clam多分类
最新发布
03-08
### CLAM多分类实现方法 对于CLAM（Compositional Learning of Aggregated Multimodal features），该框架设计用于处理全切片图像（WSI）的弱监督学习问题，在多分类场景下，CLAM能够有效地利用实例级别的注意力机制来聚合局部特征形成全局表示。具体来说，为了支持多类别分类任务，CLAM采用了两步策略： 1. **实例级别注意模块**：此部分负责计算单个patch的重要性得分，从而允许模型聚焦于最具代表性的区域。通过这种方式，即使面对复杂的病理样本也能提取出关键信息[^1]。 2. **包级别预测网络**：经过加权求和后的整体表征会被送入一个多层感知机(MLP)，进而完成最终的类别判定工作。值得注意的是，这里的输入不仅包含了来自不同模态的数据融合结果，还包括了由前一阶段产生的注意力权重向量作为辅助信息，有助于提高决策过程中的可解释性和准确性[^4]。 ```python import torch.nn as nn class MultiClassCLAM(nn.Module): def __init__(self, num_classes=3): # 设定为三类为例 super(MultiClassCLAM, self).__init__() # 定义实例级特征编码器... self.instance_encoder = InstanceEncoder() # 注意力池化层... self.attention_pooling = AttentionPooling() # MLP分类头 self.classifier_head = nn.Sequential( nn.Linear(in_features=..., out_features=...), # 输入维度需根据实际情况调整 nn.ReLU(), nn.Dropout(p=0.5), nn.Linear(in_features=..., out_features=num_classes) ) def forward(self, patches): instance_features = self.instance_encoder(patches) # 获取每个patch对应的特征向量 global_representation, attention_weights = self.attention_pooling(instance_features) logits = self.classifier_head(global_representation) return logits, attention_weights ``` ### 应用场景 CLAM架构特别适用于那些难以获得大量标注数据的情况下的医学影像分析任务。例如，在肾细胞癌(RCC)、非小细胞肺癌(NSCLC)以及淋巴结转移检测等领域内，由于高质量标签获取成本高昂且耗时较长，因此采用此类弱监督技术可以显著降低对大规模精细标记的需求。此外，得益于其良好的泛化性能，经训练好的CLAM模型还能较好地适应未曾见过的新数据源，这使得它成为跨机构协作研究的理想工具之一。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值