【论文相关】“Active Domain Adaptation via Clustering Uncertainty-weighted Embeddings“

在这篇论文中，作者提出了一种基于模型熵来对深度嵌入进行加权的方法。具体来说，作者使用训练好的分类器来对目标域中的每个样本进行分类，并计算其分类结果的熵。熵值越高表示分类结果越不确定，因此作者认为这些嵌入位于特征空间的不确定区域。

接下来，作者使用熵值作为权重对嵌入进行加权，以强调特征空间中的不确定区域。具体地，对于每个目标域样本$x_t$，它的嵌入$z_t$将被乘以一个权重$w_t$，其中权重由以下公式给出：

$w_t=1+\alpha H(y_t|x_t)$

其中，$H(y_t|x_t)$是分类器对样本$x_t$的分类结果$y_t$的熵，$\alpha$是超参数，用于调节加权的影响力。当$\alpha =0$时，加权不起作用，当$\alpha >0$时，加权将更加强调分类不确定性较高的样本。

计算分类结果的熵可以通过以下步骤进行：

对于一个样本，假设它被分类到 $C$ 个类别中的第 $i$ 个类别的概率为 $p_i$，则该样本的分类结果熵可以通过下面的公式计算：
$H(x)=-{\sum }_{i=1}^C{p}_i{\log }_2{p}_i$

其中 $H(x)$ 表示该样本的分类结果熵。

对于一个模型在一个数据集上的分类结果熵，可以将数据集中所有样本的分类结果熵求平均得到，即：
$H=\frac{1}{N}{\sum }_{i=1}^{N}H(x_i)$

其中 $N$ 表示数据集中样本的数量，$x_i$ 表示第 $i$ 个样本。