机器学习术语

基准 (baseline)
一种简单的模型或启发法，用作比较模型效果时的参考点。基准有助于模型开发者针对特定问题量化最低预期效果。

Minibatch(小批量)
Mini-batch 是指从训练数据集中选择的较小的数据子集。在训练模型时，通常将整个训练数据集划分为多个 mini-batch。每个 mini-batch 包含一定数量的训练样本，通常是2的幂次方，例如 32、64 或 128。模型使用每个 mini-batch 的样本来进行前向传播、计算损失和反向传播，然后根据这些样本的梯度更新模型的参数。使用 mini-batch 的主要目的是减少计算开销和内存占用，并提高训练的效率。

Batch(批量)
Batch 是指将整个训练数据集作为一个大批量进行训练。在每次迭代时，模型使用整个训练数据集的样本进行前向传播、计算损失和反向传播，然后根据这些样本的梯度更新模型的参数。相比于 mini-batch，使用 batch 的训练过程可能会占用更多的内存和计算资源，因为需要同时处理整个数据集。

mini-batch 和 batch 的区别在于处理的数据规模不同。mini-batch 是一个相对较小的数据子集，用于训练过程中的迭代更新，而 batch 是整个训练数据集的一次性处理。选择使用 mini-batch 还是 batch 取决于数据集的大小、计算资源的限制以及训练的效率要求。通常情况下，mini-batch 是更常用和常见的训练方式。

batch_size
批次大小，表示每次输入模型的样本数量

margin
间隔值，表示正负样本之间的距离差异的阈值

Ground truth

variants
变体
在机器学习中，"variants"是指模型或算法的变体或不同版本。这些变体可能通过引入不同的改进、优化或修改来改变原始模型或算法的性能、效果或行为。通过尝试不同的变体，研究人员可以探索不同的方法来解决同一问题，并根据任务需求选择最适合的变体。这种灵活性可以帮助机器学习算法适应不同的数据和场景。

mapping similarity
在机器学习中，"mapping similarity"指的是两个不同数据空间之间的映射相似性。当我们在处理数据时，可能会遇到不同的数据集，它们具有不同的特征表示或分布。为了在这些不同的数据集之间进行比较或转换，我们需要找到一个映射函数，将一个数据空间中的数据映射到另一个数据空间中。映射相似性度量了这个映射的有效性和质量，即在这个映射下，原始数据与映射后的数据之间的相似程度

weight shared
“weight shared”（权重共享）是指在神经网络的结构中，多个模块或层之间共享相同的权重参数。
通常情况下，神经网络的每个隐藏层都有自己的权重参数，用于对输入数据进行特征提取和表示。然而，在某些情况下，我们可能希望通过权重共享来减少模型的参数量，减少训练和推理的计算量，或者提高数据效率。

• 实现方式通常是将多个模块或层的权重参数设置为相同的，这意味着它们会共同学习来提取输入数据中的有用特征。通过共享权重，网络的参数量可以大大减少，并且可以更好地进行特征的泛化和迁移学习。
• 常见的权重共享方法是使用卷积神经网络（CNN）。在CNN中，卷积层的滤波器参数在整个输入图像上滑动，进行特征提取。这样，不同位置上的相同权重滤波器可以共享一组参数，以提取输入图像的局部特征。这种共享权重的方式大大减少了卷积层的参数数量，并且可以更好地捕捉图像中的平移不变性。
  总之，权重共享是一种在神经网络中减少参数量、提高效率和泛化能力的技术，常用于处理大规模数据或资源受限的场景。

Feature Maps
在机器学习中，“Feature Maps”（特征图）是指在卷积神经网络（Convolutional Neural Network，CNN）中由卷积层输出的多通道二维数组。也可以将其看作是卷积操作后得到的输出特征。

• 在CNN中，输入数据（例如图像）在通过卷积层之后会得到一系列的特征映射，也就是特征图。每个特征图对应网络中的一个神经元，其中每个像素的值表示这个神经元对应位置的特征强度或响应。通常，该值是通过对输入数据应用卷积操作，然后通过激活函数（如ReLU）进行非线性转换得到的。
• 特征图的数量取决于卷积层的设置，和卷积核(filter)的数量有关。每一个卷积核提取一种特征，得到一个feature map,可以是边缘、纹理、形状等。
• 作用：每一个feature map代表图片的一种特征，这些特征可以反映图片的内容。如BeautyGAN中，使用feature map进行人物身份保持。

residual 残差
“残差”（Residual）是指预测值和实际观测值之间的差异或剩余部分。残差通常用来衡量模型的预测能力和拟合程度。

• 在回归任务中，模型的目标是拟合训练数据的真实观测值。当模型产生的预测值与真实观测值之间存在差异时，残差就会产生。残差可以表示为：残差 = 实际观测值 - 预测值
• 通过计算观测值与预测值之间的差异，我们可以得到每个样本的残差，并根据残差的大小评估模型的拟合程度。如果模型能够准确地预测观测值，那么残差将趋近于零。反之，较大的残差表示模型对训练数据的拟合较差。

information entroy信息熵
它用来衡量一个随机变量的不确定性的度量。
离散型随机变量可以用公式H(X) = -Σ p(x) * log2 p(x)计算，信息熵越高，表示随机变量的不确定性也越高，因为很多可能的取值都有较高的概率。反之，信息熵越低，表示随机变量的不确定性越低。

anchor positive negative
anchor锚点 positive正样本 negative负样本
Anchor是一个参考样本或者参考点，标检测任务中，anchor通常是指一组基本的框（bounding box），用于描述不同尺寸、比例和形状的物体。triplet loss中anchor是选择的参考图像，positive是与anchor同类别的图像，negative是与anchor不同类别的图像。
Positive是与Anchor同类别或者相似的样本。在许多学习任务中，我们期望Positive与Anchor之间具有较小的距离或者相似度，并且它们属于同一个类别或者类似的类别。
Negative是与Anchor不同类别或者不相似的样本。在许多学习任务中，我们期望Negative与Anchor之间具有较大的距离或者不相似度，它们属于不同的类别或者远离的类别。

eval_interval
eval_interval是一个用于控制模型评估频率的参数。它表示在训练过程中，每经过多少个训练步骤后进行一次模型评估。评估的目的是为了衡量模型在验证集上的性能，以便及时监控模型的训练进展并进行调整。