【AI】常见的术语解释汇总

七灵微

于 2024-08-05 11:22:42 发布

阅读量579

点赞数 9

分类专栏： AI 文章标签：人工智能

本文链接：https://blog.csdn.net/qq_41775119/article/details/140921925

版权

AI 专栏收录该内容

9 篇文章 1 订阅

订阅专栏

发现论文中经常有术语和专业词汇，在这里进行长期更新汇总。建议关注、收藏、点赞！

backbone

主干网络，主干部分。这个主干网络大多时候指的是提取特征的网络，其作用就是提取图片中的信息，供给后面的网络使用。这些网络经常使用的是resnet VGG等，而不是我们自己设计的网络，因为这些网络已经证明了在分类等问题上的特征提取能力是很强的。在用这些网络作为backbone的时候，都是直接加载官方已经训练好的模型参数，后面接着我们自己的网络。让网络的这两个部分同时进行训练，因为加载的backbone模型已经具有提取特征的能力了，在我们的训练过程中，会对他进行微调，使得其更适合于我们自己的任务。

head

head是获取网络输出内容的网络，利用之前提取的特征，head利用这些特征，做出预测。

neck

是放在backbone和head之间的，是为了更好的利用backbone提取的特征

bottleneck

瓶颈的意思，通常指的是网络输入的数据维度和输出的维度不同，输出的维度比输入的小了许多，就像脖子一样，变细了。经常设置的参数 bottle_num=256，指的是网络输出的数据的维度是256 ，可是输入进来的可能是1024维度的。

GAP

在设计的网络中经常能看到gap这个层，就是Global Average Pool全局平均池化，就是将某个通道的特征取平均值，经常使用AdaptativeAvgpoolxd(1),在pytorch中，这个代表自适应性全局平均池化，即将某个通道的特征取平均值。

self.gap = nn.AdaptiveAvgPool2d(1)

Embedding

深度学习方法都是利用使用线性和非线性转换对复杂的数据进行自动特征抽取，并将特征表示为“向量”（vector），这一过程一般也称为“嵌入”（embedding）

前置/代理任务(pretext task)&下游任务(downstream task)

用于预训练的任务被称为前置/代理任务(pretext task)，用于微调的任务被称为下游任务(downstream task)

temperature parameters

在论文中经常能看到这个温度参数，那么他都有什么用处呢？比如经常看到下面这样的式子：
在这里插入图片描述
里面的beta就是temperature parameter，他在运算的时候起到平滑softmax输出结果的作用，
当beta>1的时候，可以将输出结果变得平滑，当beta<1的时候，可以让输出结果变得差异更大一下，更尖锐一些。如果beta比较大，则分类的cross entropy 交叉熵损失会很大，可以在不同的迭代次数里，使用不同的beta数值，有点类似于学习率的效果。

import torch
x = torch.tensor([1.0,2.0,3.0])
y = torch.softmax(x,0)
print(y)

x1 = x / 2  # beta 为2
y = torch.softmax(x1,0)
print(y)

x2 = x/0.5  # beta 为0.5
y = torch.softmax(x2,0)
print(y)

'''
输出
tensor([0.0900, 0.2447, 0.6652])
tensor([0.1863, 0.3072, 0.5065])
tensor([0.0159, 0.1173, 0.8668])
'''

热身Warm up

Warm up指的是用一个小的学习率先训练几个epoch，这是因为网络的参数是随机初始化的，一开始就采用较大的学习率容易数值不稳定。

end to end

在论文中经常能遇到end to end即端到端。其实就是给一个输入，就给出一个输出，不管其中的过程多么复杂，但只要给了一个输入，只会对应一个输出。
比如分类问题，输入一张图片，其中有特征提取，全链接分类，概率计算什么的，但是总体上看，就是给一输入，输出一个预测结果。End-To-End的方案，即输入一张图，输出最终想要的结果，算法细节和学习过程全部丢给了神经网络。

domain adaptation 和domain generalization 域适应和域泛化

域适应中，常见的设置是源域D_S完全已知，目标域D_T有或无标签。域适应方法试着将源域知识迁移到目标域。
其中将目标域D_T无标签视为domain generalization域泛化。这种更常见，因为将模型应用到完全未知的领域，正因为没有见过，所以没有任何模型更新和微调。这种泛化问题就是一种开集问题，由于所需预测类别较多，相对较难。