- 博客(15)
- 收藏
- 关注
RSS订阅原创 MedSegDiff: Medical Image Segmentation with Diffusion Probabilistic Model
据我们所知，我们是第一个提出基于 DPM 的通用医学图像分割模型的人。然而，最近的研究表明，它们对于标签是唯一的问题也有效，例如超分辨率(撒哈拉等人，2022b)，去模糊(Whang等人，2022)和分割(Amit等人，2021)。我们使用不同的图像模式对三种不同的医学任务进行了实验:眼底图像的光学杯分割，MRI图像的脑肿瘤分割，超声图像的甲状腺结节分割。我们验证了MedSegDiff在三种不同图像模式下的医学分割任务中的有效性，包括眼底图像的视杯分割、MRI图像的脑肿瘤分割和超声图像的甲状腺结节分割。
2024-08-31 16:28:16
959
原创 VM-Unet : Vision Vmamba Unet For Medical Image Segmentation
在第二个分支中，输入通过线性层、深度可分离卷积和激活函数进行处理，然后输入到2d选择性扫描(SS2D)模块中进行进一步的特征提取。随后，如图2(b)所示，扫描合并操作求和并合并来自的序列四个方向，将输出图像恢复到与输入图像相同的大小。Patch Embedding层将输入图像x∈RH×W×3划分为大小为4 × 4的不重叠的Patch，随后将图像的维数映射为C, C默认为96。我们在四个阶段使用[2,2,2,2]个VSS区块，每个阶段的通道计数为[C, 2C, 4C, 8C]。然后介绍了SSM的发展。
2024-08-30 16:55:48
402
原创 DA-RefineNet: Dual-inputs Attention RefineNet for Whole Slide Image SegmentationArxiv 2020 Ziqiang
为了平衡切片图像大小和全局上下文信息，我们提出了一种双输入关注网络DA-Refinenet，将精细纹理特征和粗糙空间特征结合在一起，在不增加计算成本的情况下获得更大的接受域。在这里，切片图像是从原始的完整图像中切片的，完整图像被调整大小(向下采样10次，与切片图像大小相同)，然后转发给模型进行处理。切片图像保存细粒度的局部信息，而完整图像保存粗粒度的全局上下文信息。•我们探索了几种特征融合策略，并在粗糙的全局特征可以帮助重组细粒度的局部特征的直觉下，提出了一种基于注意机制的简单有效的融合策略。
2024-08-17 11:29:51
630
原创 TP-DRSeg: Improving Diabetic Retinopathy Lesion Segmentation with Explicit Text-Prompts Assisted SAM
具体来说，为了释放视觉语言模型在医学概念识别中的潜力，我们提出了一个显式先验编码器，将隐性医学概念转化为显式先验知识，提供可解释的线索，以挖掘与病变相关的低级特征。此外，我们设计了一个与先验对齐的注入器，将明确的先验注入到分割过程中，这可以促进跨多模态特征的知识共享，并允许我们的框架以参数高效的方式进行训练。此外，我们在SAM编码器中引入了一个先验对齐的注入器，将基于文本的外部先验注入到分割过程中，进一步促进了VLM和纯视觉模型之间的知识共享和对齐。另一方面，细微的类间差异给准确的病变分类带来了挑战。
2024-08-01 14:43:00
281
原创 HACDR-Net基于异构感知的糖网病分割网络
文章提出基于异构感知的网络，异构感知的目的是讲不同结构的卷积特征聚合在一起，得到异质感受野。与以往方法相比，文章通过异质感受野提取异质特征对不同大小和形状的病灶具有良好的分割效果。NALoss旨在通过调整预测像素值的分布来平衡背景和病变的预测特征分布。为了解决不同形状和大小的病变导致的分割问题，我们使用多分支异构卷积来获得异构特征，如图。然而，不同于自注意和多头注意，我们提出了一种新的异构卷积注意来满足病灶分割的要求。构成了一个可变形的卷积残差结构，该结构具有动态自适应能力，可以得到不同形状的病变区域。
2024-07-25 00:50:21
767
原创 U-Mamba: Enhancing Long-range Dependency for Biomedical Image Segmentation论文阅读
然后，将形状为 (B, C, H, W, D) 的图像特征展平并转置为 (B, L, C)，其中 L = H × W × D。在第一个分支中，特征通过线性层扩展为 (B, 2L, C)，后面跟着 1D 卷积层、SiLU 激活函数，并与 SSM 层一起扩展。最后，将特征投影回原始形状 (B, L, C)，然后重塑并转置为 (B, C, H, W, D)。文章对四个不同的任务进行了广泛的实验，包括 CT 和 MR 图像中的 3D 腹部器官分割、内窥镜图像中的仪器分割以及显微镜图像中的细胞分割。
2024-07-01 15:27:37
317
原创 VMamba模型与分类性能探究
例如VMambaTiny/Small/Base(分别具有22/44/75 M参数)使用MaskRCNN检测器(1×训练计划)在COCO上实现了46.5%/48.2%/48.5%的mAP，使用512 × 512输入的UperNet在ADE20K上实现了47.3%/49.5%/50.0%的mIoU，展现了其作为一个强大的基础模型的潜力。受到Mamba有效建模长序列的能力的启发，本文提出VMamba，一个通用的视觉骨干模型，旨在将计算复杂度降低到线性，同时保留ViTs的优势功能。的实际部署带来了挑战。
2024-04-25 14:45:42
1084
1
原创 Robust Collaborative Learning of Patch-Level and Image-Level Annotations for DR 文章阅读
该模型主要包括一个病变注意力模块和一个分级模块，通过仅用几个块级注释来训练病变注意力生成器，该模型可以以半监督的方式来为分级模块提供输入图像的块级注意力。对输入图像，该方法首先将图片分割成小块，然后根据每个小块中存在的病变生成概率向量。基于眼底图像的糖尿病视网膜病变分级的块级和图像级注释的鲁棒协同学习。本文提出一个强大的端到端的框架，协同学习斑块级病变和图像级等级注释。）用于将异常病变图和来自分类主干的特征集成的。图像补丁进行预训练，以避免丢失标签的问题。分级的单向特征传输，即病变相关模块。
2024-03-16 11:30:32
359
1
原创 INSightR-Net
我们使用稀疏性和多样性量化了我们的解释的质量，并证明了新的相似性函数和对损失分量的调整有助于改进解释。最终的预测模型被建模为原型标签的加权平均值，因此为回归任务提供了直观的解释。的基础上加了一个原型层，可以实现图像中与学习原型最相似的区域的可视化。现在深度学习方法虽然能够在医学成像的多个回归任务上取得优异性能，但是大多数这些方法都无法解释其推理过程，阻碍了其在临床的应用。、从本质上可解释的训练模型中获得的解释，在设计上是准确的表示，但开发基于可解释的。，样本会分散在潜在空间中，原型分散在这些表示中。
2023-11-23 19:39:34
47
原创 COST-SENSITIVE REGULARIZATION FOR DIABETIC RETINOPATHY GRADING FROM EYE FUNDUS IMAGES
Table I的结果显示引入CS正则化后性能带来了可观的提升，尤其是对kappa score指标，因为cost matrix会根据标签空间中的距离对其中的错误预测进行惩罚，使用Focal Loss提升3.5%以及使用NULS提升1%,因为Focal Loss引入了一定的不对称性。需要注意的是，TaBLE I中的结果不适合直接与一些竞赛中的数据进行比较，因为竞赛中可以仅提交20%测试数据的预测，而且缺乏跨数据集实验来评估模型的泛化能力。进行运算，相近的标签惩罚小而偏差大的预测引入更大的损失值。
2023-11-13 10:18:14
49
原创 Lesion-Aware Transformers for Diabetic Retinopathy Grading论文阅读笔记
自注意力模块中，对病变过滤器之间的相互作用进行建模，增加他们的差异。这样获取的病变感知激活图M也是多个注意力头级联后的结果，每个filter表示一个特定病变的空间分布，如果属于此类病变，那么会有较高的响应值，得到相似性Sn会加权到特征图上。F为特征图，z是标签，C是严重程度等级的数量（class），给定一张图片，该网络的输出是预测的DR严重程度y和相应的病变激活图。网络结构中添加了一个分类模块，包含基于区域感知特征的全局一致性损失，输入的是病变感知特征，输出的是DR严重程度，由K个全连接层组成。
2023-11-04 14:00:25
58
1
原创 SSiT论文阅读
在所提出的对比学习方案中，我们根据显着图从动量编码器的输入序列中删除琐碎的补丁，从而约束动量编码器提供专注于显着区域的目标表示。研究表明，SSiT 中的自监督 ViT 提供了与 DR 相关的诊断特征的丰富语义信息，这是其他 SSL 方法中未观察到的。其中λcl 和 λseg 是平衡两个目标的超参数为了最小化目标 Lcl，查询编码器需要捕获输入图像的显着性，并将输出表示投影到由显着性引导动量编码器编码的潜在空间中。通过从关键编码器的输入序列中删除琐碎的补丁的方法来鼓励查询编码器学习显着区域的表示。
2023-10-28 20:43:50
76
1
原创 CoT-XNet论文阅读笔记
3 基于深度学习的网络在训练过程中充分学习数据特征的时候，往往会忽略数据集的多样性，影响模型的泛化。在随机森林中，每个决策树都是独立构建的，使用随机选择的特征和样本进行训练，最终将每个决策树的分类结果进行投票，得到最终的分类结果。而图4b中，假设有相同的输入x，让它转化为K，V，Q，键映射定义为K = X，查询映射定义为 Q = X ，值映射定义为 V= XWv，但是传统的自注意力块所有的查询键关系都是通过独立的查询键对来学习的，而没有探索它们之间丰富的上下文，这很大程度上限制了视觉表示学习。
2023-10-22 18:18:52
86
1
原创 ViT原文以及在DR领域的应用
最后要加上图像块的位置编码信息，图中是将图片打成了九宫格，所以位置编码信息是1-9，但这只是一个序号，并不是真正使用的位置编码，具体的做法是通过一个表（表中的每一行就代表了1-9的序号，每一行就是一个向量，向量的维度是768，这个向量也是可以学的）得到位置信息，然后将这些位置信息加到所有的token中（注意这里是加，而不是拼接，序号1-9仅仅是示范，而真正的应当是1-196），所以加上位置信息之后，这个序列还是197x768。通常，我们训练的参数都是常见的结构，（卷积、全连接等）里面的计算参数。
2023-10-14 14:07:23
166
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人