模型网络常见专业术语_网格模型用到的专业术语有哪些-CSDN博客

本文链接：https://blog.csdn.net/qq_46220313/article/details/146938317

骨干网络（Backbone）
- 作用：负责提取输入数据（如图像）的特征，为后续的任务提供基础特征表示。
- 常用类型：VGG、ResNet（ResNet18、50、100等）、ResNeXt、DenseNet、SqueezeNet、Darknet（Darknet19、53）、DetNet、DetNASSpineNet、EfficientNet（EfficientNet - B0/B7）、CSPResNeXt50、CSPDarknet53等。
颈部网络（Neck）
- 作用：放在骨干网络和头部网络之间，负责对骨干网络提取的特征进行进一步处理，如多尺度特征融合、特征增强等，以更好地适应后续任务的需求。
- 常用类型：SPP（空间金字塔池化）、ASPP（空洞空间金字塔池化）、RFB（感受野块）、SAM（空间注意力模块）等属于额外的模块；FPN（特征金字塔网络）、PAN（路径聚合网络）、NAS - FPN（神经架构搜索特征金字塔网络）、Fully - connected FPN（全连接特征金字塔网络）、BiFPN（双向特征金字塔网络）、ASFF（自适应空间特征融合）、SFAM（尺度特征注意力模块）等属于路径聚合模块。
头部网络（Head）
- 作用：利用骨干网络和颈部网络提取的特征，进行具体的任务预测，如目标检测中的目标位置和类别预测、图像分类中的类别预测等。
- 常用类型：目标检测中，Dense Prediction (one - stage)类型有RPN（区域提议网络）、SSD（单次多框检测器）、YOLO（你只看一次）、RetinaNet（基于锚框的单阶段目标检测算法）、CornerNet（角点检测网络）、CenterNet（中心关键点检测网络）、MatrixNet、FCOS（无锚框的全卷积单阶段目标检测算法）等；Sparse Prediction (two - stage)类型有Faster R - CNN（快速区域卷积神经网络）、R - FCN（基于区域的全卷积网络）、Mask RCNN（带有掩码分支的目标检测网络）、RepPoints（无锚框的基于点的目标检测算法）等。
基线（Baseline）
- 作用：作为参考标准的模型或方法，为评估新模型或新方法的性能提供一个基准。通过与基线进行比较，可以判断新模型是否具有优势和改进。
- 常用类型：视觉任务常用ResNet、VGG、EfficientNet等卷积神经网络；自然语言处理任务中，BERT、GPT、T5等Transformer模型是常见的基线；时间序列任务里，LSTM、GRU等循环神经网络及其变体是经典基线；图结构任务中，GCN、GraphSAGE、GAT等图神经网络是常用基线。
嵌入（Embedding）
- 作用：将高维数据（如文本、图像等）转换为低维向量空间的表示，以便于模型进行处理和学习。在这个低维空间中，相似的数据点在距离上更加接近，有助于模型捕捉数据的内在特征和语义信息。
- 常用类型：词嵌入（Word Embedding），如Word2Vec、GloVe等，用于将单词转换为向量表示；图像嵌入（Image Embedding），通过卷积神经网络等对图像进行特征提取并转换为向量；还有用于其他领域的各种嵌入方法，如知识图谱嵌入等。
池化层（Pooling Layer）
- 作用：对输入的特征图进行下采样，压缩数据量，同时保留重要的特征信息。池化操作可以减少模型的参数数量，降低计算量，防止过拟合，并且能够提高模型对输入数据的平移不变性。
- 常用类型：最大池化（Max Pooling），取局部区域内的最大值作为池化结果；平均池化（Average Pooling），计算局部区域内的平均值作为池化结果；还有自适应池化（Adaptive Pooling），可以根据输入数据的大小自动调整池化的尺寸。
注意力机制（Attention Mechanism）
- 作用：让模型能够自动聚焦于输入数据中的重要部分，为不同的特征或位置分配不同的权重，从而更有效地利用数据信息，提高模型的性能和准确性。
- 常用类型：空间注意力（Spatial Attention），关注输入特征图在空间维度上的重要区域；通道注意力（Channel Attention），侧重于不同特征通道的重要性；还有自注意力（Self - Attention），在序列数据处理中广泛应用，能够捕捉序列中元素之间的长期依赖关系，如Transformer中的自注意力机制。

注意力机制可以放在网络模型的多个位置，以下是一些常见的放置位置及原因：

骨干网络中：在骨干网络中引入注意力机制，可以帮助网络在提取基础特征时，更加关注输入数据中对后续任务重要的部分。例如，在图像识别中，让模型更早地聚焦于图像中的关键物体区域，而不是均匀地处理整个图像，有助于提高特征提取的效率和质量。如SENet（挤压激励网络）中的注意力机制就放在骨干网络中，通过对通道维度进行挤压和激励操作，自适应地调整特征通道的权重，增强了模型对重要特征的提取能力。
颈部网络中：neck部分的注意力机制主要用于对骨干网络输出的多尺度特征进行融合和优化。例如，在目标检测任务中，FPN（特征金字塔网络）结合注意力机制，可以让模型在融合不同尺度特征时，更加关注具有代表性和区分度的特征，抑制无用信息，从而提高目标检测的准确性。
头部网络中：在头部网络使用注意力机制，可以帮助模型在进行预测时，更加关注与当前预测任务相关的特征。以图像分类为例，通过注意力机制可以突出图像中与类别相关的关键区域，减少背景等无关信息的干扰，提高分类的准确性。在一些基于Transformer的目标检测模型中，头部网络的注意力机制可以帮助模型更好地对检测到的目标进行定位和分类。