Pytorch深度学习随手记（5）术语

1.backbone：主干网络，网络用于提取特征信息的部分。

2.head：是获取网络输出内容的网络，利用之前提取的特征做出预测。

3.neck：放在backbone和head之间的，是为了更好的利用backbone提取的特征

4.bottleneck：瓶颈，通常指的是网络输出的维度比输入的小了许多，就像脖子一样

5.GAP：Global Average Pool，全局平均池化，将某个通道的特征取平均值。

6.embedding：对复杂的数据进行自动特征抽取，并将特征表示为向量的过程称为“嵌入”。

7.pretext task：用于预训练的任务被称为前置/代理任务。

8.downstream task：用于微调的任务被称为下游任务。

9.Warm up：用一个小的学习率先训练几个epoch，为了稳定。

10.End-To-End：即输入一张图，输出最终结果，算法细节和学习过程全部丢给了神经网络。