5.10.6 用于乳腺癌超声图像分类的Vision Transformer

医学超声（US）成像由于其易用性、低成本和安全性已成为乳腺癌成像的主要方式。卷积神经网络（CNN）有限的局部感受野限制了他们学习全局上下文信息的能力。利用 ViT 对使用不同增强策略的乳房 US 图像进行分类。

卷积神经网络（CNN）已成为自动医学图像分析应用（例如图像分类）中最常见的网络。然而，由于其局部感受野，这些模型在学习长距离信息方面表现不佳，限制了它们执行视觉任务的能力。

---

用于图像分类应用的 Vision Transformer (ViT) 架构。这些模型中的整体训练过程基于将输入图像分割为 补丁 并将每个嵌入的补丁视为 NLP 中的单词。这些模型使用自注意力模块来学习这些嵌入补丁之间的关系。

为了处理图像数据，某些深度学习模型（特别是基于Transformer的模型）会首先将输入图像分割成一系列较小的、重叠或非重叠的图像块（patches）。这些图像块可以被视为图像的局部区域或特征。然后，每个图像块都会通过一个嵌入层（embedding layer）或类似的转换函数，将其转换成一个固定维度的向量表示。这个向量表示就称为嵌入的补丁。

 2. 相关工作

2.1 基于CNN的分类网络

ViT模型不像CNNs那样具有一些内置的归纳偏置，如平移等价性。这可能使得ViT模型在某些任务上更加灵活和通用。

归纳偏置（Inductive Biases）：模型在训练数据前就已经具备的一些先验知识或假设。

平移等价性（Translation Equivalence）：这是指无论图像中的某个特征出现在什么位置，CNN都能有效地识别和提取该特征。这是因为CNNs中的卷积操作是局部和权重共享的，使得模型对图像中的平移变换具有不变性。

 2.2 Vision Transformer

Vision Transformer 在大规模训练数据集上进行训练时，在图像分类应用中表现出优于 SOTA CNN 的性能。

3. 方法

3.1 数据集和评价指标

第一个数据集其中包含从 600 名女性收集的 780 张乳房 US 图像（称为 BUSI），平均图像大小为 500 x 500 像素。该数据集包含 133 个正常图像、437 个恶性肿块和 210 个良性肿瘤。

第二个数据集被视为数据集 B，包括 163 个图像，平均大小为 760 x 570 像素，分为两类：110 个良性肿块和 53 个癌肿块。

3.2 VIT 架构

输入图像在 ViT 模型中被分割成多个补丁。一系列一维补丁嵌入被馈送到 Transformer 编码器，其中自注意力模块用于计算每个隐藏层输出的基于关系的加权和。因此，该策略允许 Transformer 学习输入图像中的全局依赖性。

3.3 模型

模型中，Ti、S、B 是微型、小型和基础模型的表示。

3.4 微调细节

将所有数据集分别分成 85% 和 15% 用于训练和测试。所有实验都是在固定的训练和测试数据集上进行的，以进行比较。 

输出层通过具有 softmax 激活函数的分类器进行更改。使用的优化器是 Adam，模型训练了 30 个 epoch。