Bi-Classifier Determinacy Maximization for Unsupervised Domain Adaptation

最新推荐文章于 2024-08-04 17:34:10 发布

「已注销」

最新推荐文章于 2024-08-04 17:34:10 发布

阅读量1.4k

点赞数 3

文章标签：深度学习神经网络机器学习

本文链接：https://blog.csdn.net/sinat_39207356/article/details/113806782

版权

本文提出Bi-Classifier Determinacy Maximization（BCDM）方法，针对无监督领域适应，通过Classifier Determinacy Disparity（CDD）度量优化分类器的确定性和多样性。BCDM在最大化CDD损失时更新分类器，探索多样化的输出空间，然后最小化CDD损失更新特征提取器，生成具有判别性的特征，提高模型在目标域的性能。

摘要由CSDN通过智能技术生成

Abstract

方法：Bi-Classifier Determinacy Maximization (BCDM)。

针对问题：之前的方法通常利用双分类器之间的分歧性（disagreement）来学习可转移的表示，然而，它们往往疏忽了目标域中分类器的断定性（determinacy），这可能会导致模型缺乏特征辨别能力。

新的度量方法：Classifier Determinacy Disparity (CDD) metric，CDD将分类器差异表述为不同目标预测的类相关性，并隐含地引入了对目标特征可分辨性的约束。

Introduction

两种进行对抗领域适应的范式：

构建一个领域判别器；这类范式能够加强特征的transferability，但会恶化特征的discriminability。
利用两个不同的分类器；这类范式分类器差异损失的选择会对结果影响很大。Maximum Classifier Discrepancy（MCD）直接考虑两个分类器预测结果的距离（），只考虑了相应类位上的双分类器差异，而忽略了不同类间的相关性信息约束。

本文提出BCDM同样使用两个分类器来进行对抗适应，区别于MCD，CDD包含了所有双分类器的预测不一致的概率，其定义为双分类器不同类预测之间的乘积之和。训练时，先最大化CDD损失更新分类器，使双分类器产生跨类分歧，促进探索多样化的输出空间；再最小化CDD损失更新特征提取器，生成判别性特征使预测结果一致且确定，将两个领域的类推到一起。

Related Work

...

Bi-Classifier Determinacy Maximization

参数定义：包含 n_s 个样本的有标记签源域， $S=\{X_s,Y_s\}=\{(x^s_i,y^s_i)\}^{n_s}_{i=1}$$ ， y_i^s 表示 x^s_i 对应的标签；包含 n_t 个样本的无标签目标域， $T=\{X_t\}=\{x^t_j\}^{n_t}_{j=1}$ ；本文目的是为了学习一个深度神经网络 $Φ: X_t\rightarrow Y_t$ $\Phi : X_t\rightarrow Y_t$ ；模型包含一个特征提取器，以及两个分类器 C_1 和 C_2 ， $\theta _g$ ， $\theta _{c_1}$ 和 $\theta _{c_2}$ 使是相应的参数。

上图为 BCDM 的整体框架。第一步，最小化源域分类损失更新整体网络（源域上的监督训练）；第二部，最大化 CDD 更新双分类器参数；第三步，最大化 CDD 更新特征提取器（generator）参数，使其能够生成具有 transferable 和 discriminative 的特征。

Classifier Determinacy Disparity

CDD 损失的定义：

$\Gamma(p_1,p_2)=\sum_{m,n=1}^KA_{mn}-\sum_{m=1}^KA_{mm}=\sum_{m\neq n}^KA_{mn}$

其中 $p_1, p_2 \in R^{K*1}$ 分别表示两个分类器的输出的 SoftMax 概率，且 $\sum_{k=1}^Kp^k_j=1$ ，其中 $p^k_j\ge0$ ， $\forall k=1,\cdots,K$ ， $A=p_1p_2^\top ∈R^{K*K}$ ，将这样定义能够有效评估双分类器对不同类的预测相关性，为了使分类器在预测相关性方面的差异最小化，也就是使两个预测一致且相关，即使A的对角线元素最大化，这也使得预测结果能够以较高的置信度来确定预测类。A的非对角线元素可以看作是两个分类器的细粒度混淆信息。

这样来看 CDD 就包含了两个分类器所有的预测的概率。

Bi-Classifier Determinacy Maximization

最小化源域的分类损失更新 G, C_1, C_2 的参数:

$min_{\theta _g,\theta _{c_1},\theta _{c_2}}\frac{1}{n_s}\sum^{n_s}_{i=1}L_{cls}(x^s_i,y^s_i)=\frac{1}{2n_s}\sum^{n_S}_{i=1}\sum^2_{j=1}L_{ce}(p_{j_i},y^s_i)$

其中 $p_{j_i} = C_j(G(x^s_i))$ ， $L_{cd}(\cdot,\cdot)$ 是交叉熵损失。

在目标域上最大化 C

最低0.47元/天解锁文章

「已注销」

关注

3
点赞
踩
6

收藏

觉得还不错? 一键收藏
2
评论
Bi-Classifier Determinacy Maximization for Unsupervised Domain Adaptation

Bi-Classifier Determinacy Maximization for Unsupervised Domain AdaptationAbstract方法：Bi-Classifier Determinacy Maximization (BCDM)。针对问题：之前的方法通常利用双分类器之间的分歧性（disagreement）来学习可转移的表示，然而，它们往往疏忽了目标域中分类器的断定性（determinacy），这可能会导致模型缺乏特征辨别能力。新的度量方法：Classifier
复制链接

扫一扫