CNN与VIT

一、CNN

CNN由卷积层、池化层 与全连接层组成。这些层配置堆叠起来，以创建能够学习视觉数据的分层表示的深层复杂网络。

卷积层：在输入 图像数据上滑动一组可学习调整的滤波器（内核）。滤波器用于从输入中提取局部特征，包括边缘、纹理或形状。滤波器卷积后，形成特征图，表示所学习的特征在不同空间未知的存在。 

池化层：减少特征图的空间维度，减少所需的计算量和过度拟合的风险。池化层采用下采样，仅保留输入特征图中最重要的信息。 

全连接层：位于CNN末尾，用于生成最终输出。全连接层处理卷积层和池化层提取的特征，并将它们映射到所需的输出空间。 

（2）resnet

resnet通过跳跃连接解决了深度网络中梯度消失的问题，允许网络学习残差函数，resnet结构能够训练更深层次的网络，显著提高性能。

（3)densenet

densenet引入层与层间的密集连接，缓解了梯度消失问题并鼓励特征重用。与传统CNN相比，这导致了更紧凑、高效的模型。

（4）CNN缺陷：

虽然CNN在各类计算机视觉中任务非常有效，但它们并非没有局限。CNN主要包括以下缺点：

首先是对大量标记数据的要求；计算复杂性；扩展到高分辨率图像的困难；缺乏对可变大小输入的原生支持。

二、VIT

vision transformer（ViT）

ViT采用原始Transformer架构，来处理图像作为输入。ViT不使用卷积运算处理图像，而是将图像视为不重叠补丁序列，每个补丁转换为平面向量并应用位置编码保留空间信息。最后将得到的向量序列输入Transformer层，该层利用自注意力机制来远程依赖性并学习有意义的视觉特征。