＜Squeezing Backbone Feature Distributions to the Max for Efficient Few-Shot Learning＞

在本文中，我们提出了一种新的基于传输的方法，旨在处理特征向量，使其更接近高斯分布，从而提高了精度。
对于在训练期间可以使用未标记测试样本的转导小样本学习，我们还引入了一种优化传输启发算法，以进一步提高所达到的性能。使用标准化的视觉基准，我们展示了所提出的方法能够通过各种数据集、主干架构和少镜头设置实现最先进的精度。

Feature extraction

第一步是仅使用基础数据集训练神经网络主干模型。 在这项工作中，我们考虑了多个主干，以及各种训练程序。 一旦所考虑的主干被训练，我们就会获得强大的嵌入，这些嵌入应该很好地推广到新的类。

特征提取网络记作$f_{\phi }$，通过骨干提取网络的倒数第二层的输出得到。对于输入$x$,$f_{\phi }(x)$是一个维度为$d$的向量，可以被认为是$x$的一种更容易操作的表示

在使用的所有骨干架构中，倒数第二层都是通过应用ReLU函数获得的，因此所有从$f_{\phi }$中出来的特征数值都是非负的

Feature preprocessing

• Euclidean normalization
  该步长将特征缩放到相同的区域，这样方差较大的特征向量不会占其他特征向量的优势。
  $$f_{\phi }(\mathbf{x})\leftarrow \frac{f_{\phi }(\mathbf{x})}{{\Vert f_{\phi }(\mathbf{x})\Vert }_2}$$

• Power transform
  基本原理是幂变换，通常与欧几里得归一化结合使用，具有减少分布偏斜并将其映射到接近高斯分布的功能，由$\beta$调整
  $$f_{\phi }^h(\mathbf{x})\leftarrow {\left(f_{\phi }^h(\mathbf{x})+ϵ\right)}^{\beta },\beta \ne 0$$
  $ϵ=1e-6$，$\beta$是超参数

• Mean subtraction
  使用均值减法，每个样本使用$\mathbf{m}\in {\left({\mathbb{R}}^{+}\right)}^d$投影中心进行平移。这通常与欧几里德归一化结合使用，以减少任务偏差和更好地对齐特征分布
  $$f_{\phi }(\mathbf{x})\leftarrow f_{\phi }(\mathbf{x})-\mathbf{m}$$

Boosted Min-size Sinkhorn

首先，我们定义一个权重矩阵 $W$，它有$n$列（即每个类一列）和$d$行（即每个特征向量维度一行），对于 $W$ 中的列 $j$，我们将其表示为类$j$的权重参数${\mathbf{w}}_j\in {\mathbb{R}}^d$,通过下面方程式计算：
$$\begin{array}{c}{\mathbf{w}}_j=\mathbf{W}[:,j]={\mathbf{c}}_j/{\Vert {\mathbf{c}}_j\Vert }_2,\\ {\mathbf{c}}_j=\frac{1}{s}\sum _{\mathbf{x}\in \mathbf{S},\ell (\mathbf{x})=j}{f}_{\phi }(\mathbf{x}).\end{array}$$
我们可以看到，$W$包含了每个类支持集中特征向量的平均值，然后对每个列进行$L_2$归一化处理，使$\forall j,{\Vert {\mathbf{w}}_j\Vert }_2=1$.

然后，我们迭代后面描述的多个步骤

a. Computing costs

将样本 $i$ 和类别 $j$ 之间的成本定义为以下对应于余弦距离的等式:$$\begin{array}{rl}\mathbf{C}[i,j]& \propto {\left(f_{\phi }\left({\mathbf{x}}_i\right)-{\mathbf{w}}_j\right)}^2\\ & =1-{\mathbf{w}}_j^T{f}_{\phi }\left({\mathbf{x}}_i\right)\end{array}$$
对应源代码的score

b. Min-size Sinkhorn

$$\begin{array}{rl}\mathbf{P}& =\mathrm{Sinkhorn}(\mathbf{C},\mathbf{p},\mathbf{q},\lambda )\\ & =\underset{\tilde{\mathbf{P}}\in \mathbb{U}(\mathbf{p},\mathbf{q})}{\mathrm{argmin}}\sum _{ij}\tilde{\mathbf{P}}[i,j]\mathbf{C}[i,j]+\lambda H(\tilde{\mathbf{P}})\end{array}$$

其中行总和为 p，列总和为 q，p 表示每个样本用于类别分配的数量的分布，q 表示分配给每个类别的样本数量的分布。
因此，U(p;q) 包含所有可能的分配方式。 在同一个等式中，C 可以看作是一个成本矩阵

$\tilde{\mathbf{P}}$的交叉熵$:H(\tilde{\mathbf{P}})=-{\sum }_{ij}\tilde{\mathbf{P}}[i,j]\log \tilde{\mathbf{P}}[i,j]$

论文给出算法1，通过迭代算出$P$.每次迭代都采用Sinkhorn算法,以便迭代更新类原型以找到它们的最佳估计

c. Updating weights

现在我们有了一个优化的分配矩阵 $P$，我们首先初始化权重 $w_j$ :
$$\begin{array}{c}{\mathbf{w}}_j\leftarrow {\mathbf{u}}_j/{\Vert {\mathbf{u}}_j\Vert }_2\\ {\mathbf{u}}_j\leftarrow \sum _i\mathbf{P}[i,j]f_{\phi }\left({\mathbf{x}}_i\right)/\sum _i\mathbf{P}[i,j]\end{array}$$

接下来我们通过逻辑回归进一步调整权重，通过最小化以下损失来进行优化:
$$\frac{1}{l+u}\cdot \sum _i\sum _j-\log \left(\frac{\exp (\mathbf{S}[i,j])}{{\sum }_{\gamma =1}^n\exp (\mathbf{S}[i,\gamma ])}\right)\cdot \mathbf{P}[i,j]$$
其中，$\mathbf{S}\in {\mathbb{R}}^{(l+u)\times n}$包含$logits$，其中的每个元素可以通过公式计算：$\mathbf{S}[i,j]=\kappa \cdot \frac{{\mathbf{w}}_j^T{f}_{\phi }\left({\mathbf{x}}_i\right)}{{\Vert {\mathbf{w}}_j\Vert }_2}$.注意$\kappa$是一个尺度参数，用于调整与每个样本相关的置信度指标。它是与 W 共同学习的。

部署的逻辑回归自带超参数。在实验中，我们使用梯度步长为 0:1 和 0:8 的 SGD 优化器作为动量参数，并在 e 个 epoch 上进行训练。

d. Estimating the class minimum size

现在可以细化我们对下一次迭代的min-size $k$ 的估计.
为此，我们计算每个样本的预测标签:$\hat{\ell }\left({\mathbf{x}}_i\right)=\arg {\max }_j(\mathbf{P}[i,j])$,可以看作是当前(临时)类的预测

然后计算 k = min ⁡ j { k j } k=\min_{j}\left\{k_{j}\right\} k=minj​{kj​}，其中$k_j$代表类$j$的样本数

Summary of the proposed method

论文方法的所有步骤在算法2中进行了总结