托比-马奎尔-CSDN博客

原创基于Transformer进行乳腺癌组织病理学图像分类的方法比较

基于ViT众多变体进行乳腺癌分类

2024-08-23 16:56:37 683

原创金字塔模型

金字塔模型（Pyramid Model）在深度学习中是一种用于多尺度图像分析和处理的模型结构，它基于金字塔的概念，即从图像的不同尺度或分辨率上提取信息。金字塔模型特别适用于处理需要在不同尺度上捕捉信息的任务，例如物体检测、分割和图像检索。金字塔的底部是待处理图像的高分辨率表示，而顶部是低分辨率的近似。将一层一层的图像比喻成金字塔，层级越高，则图像越小，分辨率越低。金字塔模型的核心思想是通过创建图像的多个尺度版本来捕捉不同层次的信息。

2024-08-21 21:41:00 1051

原创深度学习中常见的激活函数

深度学习中常用的激活函数

2024-08-21 21:10:56 364

原创 Conformer:用于语音识别的卷积增强Transformer

Transformer模型善于捕捉基于内容的全局交互，而CNN则能有效地利用局部特征。在这项工作中，通过研究如何将卷积神经网络和Transformer结合起来，以参数有效的方式对音频序列的局部和全局依赖关系进行建模，从而达到两全面性。为此，提出了用于语音识别的卷积增强Transformer，命名为Conformer。Conformer显著优于之前的Transformer和基于CNN的模型，达到了最先进的精度。

2024-08-14 17:59:13 905

原创稀疏注意力：时间序列预测的局部性和Transformer的存储瓶颈

定义了一个时间序列预测的问题。在这个问题中，我们有一个包含N个相关单变量时间序列的集合，每个时间序列记为，表示从时间1到时间的观测值。目标是预测这些时间序列未来的个时间步的值，即。此外，假设有一个与时间相关的协变量集合，其维度为d，这些协变量可能包括诸如星期几、一天中的小时等已知信息。我们需要建模条件分布，其中是所有时间序列共享的可学习参数。接着，问题被简化为学习一个一步预测模型，即，其中表示模型的可学习参数。

2024-08-14 16:57:43 838

原创具备长短距离注意力模块的Lite Transformer

Transformer在自然语言处理(例如，机器翻译、问答)中已经变得无处不在;然而，它需要大量的计算才能实现高性能，这使得它不适合受硬件资源和电池严格限制的移动应用程序。在本文中，提出了一个高效的移动NLP架构，Lite Transformer，以方便在边缘设备上部署移动NLP应用程序。关键的原语是长短距离注意(LSRA)，其中一组头专门进行局部上下文建模(通过卷积)，而另一组头专门进行远距离关系建模(通过注意)。

2024-08-13 21:44:29 1076

原创动态卷积（轻量级卷积）替代多头自注意力

动态卷积，它比自注意力更简单、更有效。我们仅基于当前时间步长预测单独的卷积核，以确定上下文元素的重要性。这种方法所需的操作数量随输入长度呈线性增长，而自注意力是二次的。在大规模机器翻译、语言建模和抽象摘要上的实验表明，动态卷积比强自注意模型有更好的改进。

2024-07-29 11:33:25 631

原创 DeiT : Training data-efficient image transformers & distillation through attention

查询向量与一组k个键向量(组合成一个矩阵)使用内积进行匹配。然后用softmax函数对这些内积进行缩放和规范化以获得 k 个权重。注意力的输出是一组 k 个值向量(打包成)的加权和。对于一个包含N个查询向量的序列(封装到中)，它产生一个输出矩阵(大小为N × d):其中Softmax函数应用于输入矩阵的每一行。提供了适当的规格化。为了防止当d较大时，点积结果会非常大，导致softmax函数的梯度变得非常小，从而引发梯度消失问题。缩放因子有助于保持梯度的稳定性。

2024-07-28 20:42:09 732

原创 ViT中的池化知识

CLS token 是一个在输入序列的开头添加的特殊 token，其输出特征通常被用作整个图像的表示，以进行分类任务。在 ViT 模型中，通常会在输入的补丁序列前添加一个特殊的分类 token（CLS token）。: 在模型训练和推理时，CLS token 的输出被用作图像的最终特征表示，进行分类或其他任务。: 对所有补丁的输出进行最大化操作，得到图像的特征表示。: 对所有补丁的输出进行平均，以获得图像的整体表示。

2024-07-25 21:58:32 514

原创相对位置偏置代码解析

假设,则 2 * window_size - 1 = 13；嵌入层的大小为13*13=169，创建一个大小为169*4的嵌入矩阵。

2024-07-24 16:52:56 836

原创乳腺组织病理学图像中浸润性导管癌的增强CNN结构检测

浸润性导管癌(Invasive Ductal Carcinoma, IDC)被认为是最常见的乳腺癌亚型，早期发现浸润性导管癌对于制定治疗方案和改善治疗效果至关重要。因此，IDC的自动识别将有助于病理学家的诊断，并提供有价值的第二意见。该数据集包含277,524个补丁，其中IDC阴性图像198,738个，IDC阳性图像78,786个。

2024-07-19 10:33:28 651

原创基于纹理和统计图像特征集成的计算机辅助乳腺癌检测

诊断通常使用组织病理学切片，可以确定组织是否处于导管原位癌(DCIS)阶段，其中癌细胞尚未扩散到周围乳腺组织，或浸润性导管癌(IDC)阶段，其中细胞已渗透到邻近组织。对于医生来说，检测IDC非常耗时且具有挑战性。因此，这可以建模为图像分类任务，其中模式识别和机器学习可用于帮助医生和医疗从业者做出此类关键决策。在本文中，使用包含277,524张图像的IDC乳腺癌数据集(其中78,786张IDC阳性图像和198,738张IDC阴性图像)将图像分为IDC(+)和IDC(-)。

2024-07-18 21:17:31 727

原创迁移学习在乳腺浸润性导管癌病理图像分类中的应用

乳腺癌主要有两种类型:原位癌:原位癌是非常早期的癌症，开始在乳管中扩散，但没有扩散到乳房组织的其他部分。这也称为导管原位癌(DCIS)。浸润性乳腺癌:浸润性乳腺癌已经扩散(侵入)到周围的乳腺组织。侵袭性癌症比原位癌更难治愈。将乳汁输送到乳晕的管道是大多数乳房生长开始的地方(导管癌)。在本文中，使用了一组浸润性导管癌(Invasive Ductal Carcinoma, IDC)数据集，它是一种非常常见的癌症类型，比原位癌具有更高的致死性。肿瘤分级是一种常用的疾病侵袭性评估，用于检查浸润性癌症。

2024-07-18 18:25:24 724

原创基于自编码器和孪生框架的乳腺组织病理图像分类方法

一种使用Siamese框架约束作为特征提取器的AE，用于构建乳腺癌组织病理图像分类的端到端网络模型。该模型旨在通过最小化输入和输出图像之间的距离来学习有用的图像特征，同时保持特征提取的类间距离尽可能大，类内距离尽可能小。该模型将AE网络强大的特征提取能力与Siamese框架的特征距离约束相结合，获得更容易判别的图像特征。此外，输入图像的多尺度变换使网络模型能够同时学习全局和局部信息。实验结果表明，从多尺度输入中提取的特征可以显著提高分类性能，特别是当使用Siamese框架进行特征距离约束时。

2024-07-18 17:20:34 865

原创基于深度残差网络迁移学习的浸润性导管癌检测

癌症是一种异常细胞不受控制地分裂损害健康组织的疾病。皮肤或覆盖我们内脏的组织中的癌细胞被称为癌。乳房中的大多数癌是导管癌。侵袭性导管癌(Invasive Ductal Carcinoma, IDC)始于乳管，侵犯乳房周围纤维组织，晚期可通过血液扩散至淋巴结或身体其他部位，威胁患者生命。这种恶性肿瘤的治疗取决于它的分期、严重程度和它所属的亚型。事实证明，早期诊断有助于减少治疗过程中的并发症，从而提高患者的生存几率。IDC癌的诊断可基于病理任务，包括显微镜观察和多片载玻片检查。

2024-07-18 11:35:25 912

原创 PiT : 基于池化层Pooling layer的Vision Transformer

CNN的降维原理;随着深度的增加，传统CNN的通道维数增加，空间维数减少。经验表明，这样的空间降维对变压器结构也是有益的，并在原有的ViT模型的基础上提出了一种新的基于池的视觉变压器(PiT)。

2024-07-17 21:32:15 923

原创 AlexNet-BC：一种用于乳腺癌病理图像分类的深度学习方法

一些常用的卷积神经网络(Convolutional Neural Network, CNN)及其变体，如AlexNet、VGGNet、GoogleNet等，在乳腺癌分类中容易出现过拟合的问题，这主要是由于乳腺病理图像数据集的规模较小，以及过于自信的softmax-cross-entropy loss。为了缓解过拟合问题以获得更好的分类准确性，提出了一种新的乳腺病理分类框架，称为AlexNet-BC模型。该模型使用ImageNet数据集进行预训练，并使用增强数据集进行微调。

2024-07-14 13:57:41 1116

原创基于深度学习的组织病理学图像IDC检测方法

乳腺癌可以通过对浸润性导管性乳腺癌(IDC)和浸润性小叶性乳腺癌(ILC)的内部组织区域进行检查来确诊。因此，早期诊断乳腺组织异常是至关重要的，以减少风险，使快速和有效的治疗。本研究旨在利用所提出的基于深度学习的算法，利用组织病理学图像，建立一个综合性的浸润性导管癌(invasive ductal carcinoma, IDC) CAD系统。该方案从零开始开发了ConvNet-A、ConvNet-B和ConvNet-C三种不同的CNN模型，分别考虑了8层、9层和19层。

2024-07-13 17:11:50 1244

原创 MaxViT : 多轴Vision Transformer

本文提出了一种高效、可扩展的多轴注意力模型，该模型包括两个方面:局部注意力被阻塞和全局注意力被扩张。这些设计选择允许在任意输入分辨率下的全局-局部空间交互，只有线性复杂度。还通过有效地将注意力模型与卷积混合在一起，提出了一个新的架构元素，并相应地提出了一个简单的分层视觉主干，称为MaxViT，通过简单地在多个阶段重复基本构建块。值得注意的是，即使在早期的高分辨率阶段，MaxViT也能够“看到”整个网络的全局。

2024-07-11 18:13:03 1214

原创 SepViT: Separable（分离式） Vision Transformer

SepViT遵循广泛使用的分层架构(Wang et al . 2021c;Dong et al . 2021)和基于窗口的自我注意(Liu et al . 2021)。此外，SepViT还采用了Chu等人的条件位置编码(CPE) （chu et al. 2021 b, a)。对于每个阶段，都有一个重叠的补丁合并层用于特征图下采样，然后是一系列SepViT块。在步长为4或步长为2的情况下，空间分辨率将逐步降低32倍，通道尺寸将逐级增加一倍。

2024-07-10 17:54:42 833

原创 NesT : 嵌套层次Transformer

在不重叠的图像块上嵌套基本局部变换的思想，并以分层的方式对它们进行聚合。发现块聚合功能在实现跨块非局部信息通信中起着至关重要的作用。这个观察结果引导我们设计一个简化的体系结构，它需要在原始视觉转换器上进行少量的代码更改。所提出的明智选择的设计有三个好处:(1)NesT收敛速度更快，需要更少的训练数据，以在ImageNet和像CIFAR这样的小数据集上实现良好的泛化;(2)当将我们的关键思想扩展到图像生成时，NesT带来了一个强大的解码器，比以前基于变压器的生成器快8倍;

2024-07-10 11:09:35 873

原创 CrossViT:用于图像分类的交叉注意多尺度Vision Transformer

Vision Transformer, ViT[11]首先将图像分割成一定大小的patch token序列，然后将每个patch线性投影为token。一个额外的分类令牌(CLS)被添加到序列中。此外，由于Transformer Encoder中的自注意力与位置无关，并且视觉应用高度需要位置信息，因此ViT在每个令牌中添加了位置嵌入，包括CLS令牌。之后，所有令牌都通过堆叠的Transformer Encoder传递，最后使用CLS令牌进行分类。

2024-07-02 17:05:06 944

原创 CvT：将卷积引入Vision Transformer

Vision Transformer (ViT)[10]是第一个完全依赖Transformer架构来获得大规模图像分类性能的计算机视觉模型。ViT设计以最小的修改从语言理解适应Transformer架构[9]。首先，将图像分割成离散的不重叠的小块(例如16 × 16)。然后，这些补丁被当作标记(类似于NLP中的标记)，用特殊的位置编码求和以表示粗略的空间信息，并输入到重复的标准Transformer层中以建模全局关系进行分类。

2024-07-01 16:23:18 1100

原创 6.26.4.3 条件生成对抗和卷积网络用于x射线乳房质量分割和形状分类

乳房x线摄影筛查是早期发现乳腺癌最可靠的方法。在各种类型的乳房异常中，如微钙化或结构扭曲，乳房肿块是最重要的发现，因为它们可能提示恶性肿瘤的存在。然而，由于肿块与周围健康组织的高可变性、低对比度和高相似性以及低信噪比，定位肿块和识别肿块边界是一项困难的任务。CAD系统被强烈推荐用于帮助放射科医生检测肿块，勾勒出它们的边界（即肿块分割），以及提出它们的形态特征，如形状类型（不规则、分叶状、椭圆形和圆形）和边缘类型（界限清晰、模糊、定义不清、有毛刺）。

2024-06-28 21:27:08 1044

原创 6.24.4.2 YOLO- logo:一种基于变压器的YOLO分割模型，用于数字乳房x光片中乳腺肿块的检测和分割

在过去的几年中，大多数基于深度学习的图像分割模型都使用基于深度卷积神经网络(cnn)的U-Net (Olaf[6])架构来实现其最佳性能，如U-Net+[7]、Attention U-Net[8]、DenseUNet[9]、R2U-Net[10]、UNet 3+[11]、connected_unet[12]等[13-15]。CNN可以从不同抽象层次的不同领域的数据中自动生成重要特征。这一优势使其成为近年来基于深度学习的计算机视觉研究中最受欢迎的技术。

2024-06-28 18:32:18 706

原创 6.26.4.1 基于交叉视角变换的未配准医学图像多视角分析

许多医学成像任务使用来自多个视图或模式的数据，但很难有效地将这些数据结合起来。虽然多模态图像通常可以在神经网络中作为多个输入通道进行配准和处理，但来自不同视图的图像可能难以正确配准(例如，[2])。因此，大多数多视图模型单独处理视图，只有在全局池化之后才将它们组合起来，这样就消除了视图之间的任何局部相关性。如果这些局部相关性对图像的解释很重要，则可以通过在更早的空间特征级别上链接视图来改进模型。提出了一种在空间特征图层次上链接未注册视图的方法。

2024-06-27 21:52:52 853

原创 6.26.8 基于多视角深度卷积神经网络的高分辨率乳腺癌筛查

开发了一种新的DCN，它能够处理乳房x线摄影筛查的多个视图，并利用大分辨率图像而不缩小。将这种DCN称为多视图深度卷积网络(MV-DCN)。网络学习预测放射科医生的评估，将传入的样本分类为BI-RADS 0(“不完整”)，BI-RADS 1(“正常”)或BI-RADS 2(“良性发现”)。研究了数据集大小和图像分辨率对所提出的MV-DCN筛选性能的影响，这将作为优化未来深度神经网络用于医学成像的事实上的指导方针。通过可视化预测进一步研究了所提出的MV-DCN的潜力。

2024-06-27 18:09:19 933

原创 6.26.7 两阶段卷积神经网络在乳腺癌组织学图像分类中的应用

利用深度学习技术，提出了一种新的两阶段CNN管道，以克服处理超大图像所带来的硬件限制。第一个所谓的patch-wise网络作用于整个图像的较小的补丁，并输出空间较小的特征图。第二个网络在补丁网络之上运行。它接收来自patch-wise网络的特征映射堆栈作为输入，并生成图像级标签分数。在这个框架中，patch-wise网络负责捕获输入的局部特征，而image-wise网络则学习组合这些特征并找到相邻补丁之间的关系，以全局推断图像的特征并生成类自信分数。

2024-06-27 17:29:04 1137

原创 6.26.4 基于视觉变换的乳房x光片分类迁移学习

乳房x线摄影(MG)在乳腺癌的早期发现中起着重要作用。MG可以在早期发现乳腺癌，即使是不能感觉到肿块的小肿瘤。然而，由于mg的复杂性和放射科医生进行的大量检查，可能会出现误诊。为了给放射科医生提供一个公正的视角，应用图像处理方法和模式识别的计算机辅助检测(CAD)已经发展起来。传统的CAD模型并不能显著提高MG的诊断效能。在使用传统CAD进行MG异常识别时，显著的假阳性率是主要障碍。假阳性结果导致患者焦虑、不必要的辐射暴露、无意义的活组织检查、高回复率、更高的医疗费用和更多的检查次数。

2024-06-27 16:36:23 1124

原创 6.26.3 基于Transformer的深度神经网络在数字乳腺断层合成图像上的乳腺癌分类

开发一种有效的深度神经网络模型，该模型结合了相邻图像部分的上下文，以检测数字乳腺断层合成(DBT)图像上的乳腺癌。数字乳房断层合成(DBT)是一种医学成像技术，其中检测器围绕患者以有限角度旋转并记录多幅图像。然后将这些图像重建为二维(2D)切片堆栈，从而改进病变检测、表征和定位。许多研究表明，与2D数字乳房x线摄影相比，DBT在筛查和诊断成像结果方面都有改善(1,2)。虽然DBT正在成为乳腺癌检测的标准，但其解释时间仍然是一个问题(3)。使用神经网络进行DBT的一个关键挑战是三维(3D)数据量;

2024-06-27 10:35:55 1123

原创 6.26.1 残差卷积变压器编码器的混合工作流程用于数字x线乳房x光片乳腺癌分类

本文的改进模型是通过使用改进的深度卷积神经网络(CNN)模型来实现的，该模型在一组乳房x光片斑块上进行训练，将其分类为正常或异常病例。最终的自定义CNN模型包括一个VGG (Visual Geometry Group)序列型结构，该结构有五个块，每个块包含三个带有小3 × 3滤波器的卷积层，一个最大池化层，最后是一个dropout层。该模型在每一层之后都进行了批归一化处理，具有正则化效果，加快了收敛速度。

2024-06-27 09:53:27 808 1

原创 6.13.6 Faster R-CNN

乳房x光检查是由人类读者评估的。阅读过程单调、累人、冗长、昂贵，最重要的是容易出错。尽管有现代，但漏诊癌症的问题仍然存在。据报道，筛查乳房x光检查的敏感性和特异性分别在77-87%和89-97%之间。这些指标描述了阅读者的平均表现，而个别医生的表现存在很大差异，报告的假阳性率在1-29%之间，敏感性在29 - 97%之间10-12。重复阅读被发现可以提高乳房x光检查的效果，并已在许多国家实施。多次读数可以进一步提高诊断性能，多达10个以上的读数，证明乳房x光检查评估在双重读数之外还有改进的空间。

2024-06-24 11:23:40 845

原创 6.13.1 使用残差神经网络堆叠集成进行乳腺肿块分类和诊断的综合框架

本研究中，实现了一个堆叠的 ResNet 模型集成，以将乳腺肿块分类为恶性或良性，并诊断其 BI-RADS 类别评估，评分范围为 2 到 6，形状为椭圆形、圆形、分叶状或不规则形。与单个架构和应用于现有基准数据集的其他方法相比，所提出方法的结果显示分类性能有所提高。在两个公共数据集上实现了最高的病理分类性能：CBIS-DDSM 的准确率为 95.13%，AUC 得分为 0.95，INbreast 的准确率为 99.20，AUC 得分为 0.99。

2024-06-13 22:26:25 943 1

原创 6.7.31 使用端到端训练的基于 EfficientNet 的卷积网络在双视图乳房 X 线摄影中进行乳腺癌诊断

提出了一种深度卷积网络，该网络同时考虑了乳房 X 线摄影同一侧的两个视图，该网络经过端到端训练，从而实现了三个迁移学习。首先，使用在自然图像上训练的 EfficientNet 的权重来训练补丁分类器其次，使用块分类器权重来训练单视图分类器第三，使用单视图分类器权重来训练双视图分类器使用 5 倍交叉验证，系统在对具有两个视图的 CBIS-DDSM 乳房 X 光照片进行分类时实现了 0.9344±0.0341 的 AUC（在 ROC 的等错误率点处，准确度、灵敏度和特异性为 85.13%）。

2024-06-12 22:41:43 784

原创 6.7.32 用于计算机辅助检测和诊断研究的精选乳房 X 线摄影数据集

计算机辅助检测 (CADe) 和诊断 (CADx) 系统旨在协助放射科医生对乳房 X 线摄影进行解释。CADe 用于发现乳房 X 线摄影中的异常结构，而 CADx 用于确定所发现异常的重要性。当前的 CADe 系统受到高假阳性率的限制，并且乳房 X 线摄影的 CADx 系统尚未获准用于临床。尽管乳房 X 线摄影中 CAD 的技术难度很大，但还有另一个障碍必须解决才能实现这项研究：决策支持系统评估。

2024-06-11 10:57:42 851

原创 6.7.29 基于卷积神经网络的乳腺良恶性图像分类

本研究提出了一种基于 mini-MIAS 训练的 CNN 形式的新型深度学习模型，用于对良性和恶性异常进行分类。为了增强图像特征并提高分类性能，提出了一种预处理算法，该算法使用一系列预处理方法，例如裁剪、GCN、局部直方图均衡化和平衡预处理。CNN 模型以原始图像的 ROI 作为输入，实现异常的特征学习和分类。为了满足乳腺图像的要求，提出了一种数据增强方法来改善数据稀缺性并防止过度拟合。探索 CNN 层结构和内核或激活函数对分类性能的影响。

2024-06-10 17:55:56 682

原创 6.7.13 MV-Swin-T：使用多视图 SWIN 变压器进行乳房 X 光检查分类

传统的乳腺癌分类深度学习方法主要集中在单视图分析上。然而，在临床实践中，放射科医生会同时检查乳房 X 线摄影检查中的所有视图，利用这些视图中固有的相关性来有效检测肿瘤。在本文中，我们提出了一种完全基于 Transformer 的创新多视图网络，以解决乳房 X 线摄影图像分类中的挑战。我们的方法引入了一种，并促进了这些信息在空间特征图级别视图之间的连贯传输。

2024-06-09 17:13:00 1200

原创 6.7.12 使用 SWIN Transformer 通过热图像实现乳腺癌检测系统

乳腺癌是重大的公共卫生挑战，需要有效的诊断方法。虽然超声、乳房 X 线照相和 MRI 仍然至关重要，但它们在定期、短间隔大规模筛查中的实用性有限。热成像作为一种非侵入性且经济有效的选择，具有常规自我筛查的潜力。本研究利用基于自注意力的 Vision Transformer 设计代替传统的 CNN，探索了用于乳腺癌检测的各种 SWIN 变压器变体和增强策略。使用，将其划分为训练、测试和验证子集，比例为 70:15:15，获得的结果显示出巨大的前景。

2024-06-09 11:05:45 1160 2

原创 6.7.11 一种新的迁移学习方法可提高乳房 X 线摄影筛查中乳腺癌的诊断率

分割过程是涉及要分析图像的任何基于机器学习的工作中的一个有效阶段。在工作中，使用两个 CNN 预训练模型，即 ResNet-50 和 VGG16，用于从乳房 X 线摄影图像中获取属性。VGG16 充当二分类和多类乳房 X 线摄影图像的特征提取器。此过程是在适当调整 VGG16 模型后完成的。另一方面，ResNet-50 用于图像分类、对象检测和对象定位等功能。使用前面提到的模型开发的系统提供了 ResNet-50 的 96.49% 准确率和 VGG16 的 95.48% 准确率。

2024-06-08 22:07:57 777

原创 5.31.15 使用图像到图像转换和 YOLO 技术对先前的乳房 X 光检查结果中的异常进行早期检测和分类

乳腺癌最常见的症状是乳腺结构和组织外观的严重变化，还伴有乳腺肿瘤和细胞簇的快速形成。乳房 X 线检查是早期检测和诊断乳腺癌的有效医学影像工具之一，可降低早期乳腺癌的晚期和致死率。为了检查潜在病变（如肿块、钙化、结构扭曲），放射科医生依靠人类的视觉理解来检测和提取乳房 X 线照片中的所有诊断信息。然而，已证明大约 10% 到 30% 的癌症病例在筛查乳房 X 线照片中被漏掉，这会产生高达 50% 的假阴性率，具体取决于病变类型和乳腺密度 [6]。

2024-06-07 20:59:00 1396