用于无监督域自适应的域共享组-稀疏字典学习

高级实训论文阅读报告

Domain-Shared Group-Sparse Dictionary Learning for Unsupervised Domain Adaptation

1. Main Algorithm

给定一个源数据集合(source data) $X^S$和标签$y^S$， 和一个没有标签数据的目标数据集合(target data) $X^T$目标是将联合分布$P_S(X^S,y^S)$和$P_T(X^T,y^T)$对齐以进行域适应。

具体而言，目标标签$y^T$在无监督域适应中是未知的。为此，提出的DsGsDL模型学习组稀疏表示(group-sparse representations)，其中条件分布(conditional distributions)和边缘分布(marginal distributions)在源域和目标域之间对齐。

Conditional Distribution Alignment

我们将条件分布与源域和目标域上的域共享组稀疏性约束对齐。我们首先考虑源域中的公式。

符号规定 source domain
记一个可以分成$K$个类的labeled source data为$X^S=[X_1^S,X_2^S,...,X_K^S]$, 且 $X_k^S\in {\mathbb{R}}^{p\times n_k}$ 是$X^S$的一个子集，分类为$k$, $p$是每个样本的特征维度 , $n_k$是类标为$k$的样本个数。

记源数据集的字典表示为$D^S=[D_1^S,D_2^S,...,D_K^S,D_r^S]$,且 $D_k^S\in {\mathbb{R}}^{p\times q_k}$ 是$D^S$的特定于类$k$的子字典，$D_r^S\in {\mathbb{R}}^{p\times q_r}$是来自源域所有类的剩余(remainder)稀疏系数字典。
$q_k$和$q_r$分别是$D_k^S$和$D_r^S$的数量。

设${\alpha }^S\in {\mathbb{R}}^{q\times n}$为源数据的系数。$q$是$D^S$的基数而$n$是源数据的总数。

对应$D^S$，源系数被划分为行向量的矩阵
${\alpha }^S=[{\alpha }_{1,:}^S;{\alpha }_{2,:}^S;...;{\alpha }_{K,:}^S;{\alpha }_{r,:}^S;]$.

另一方面，系数矩阵可以根据标签$y^S$由列向量写为
${\alpha }^S=[{\alpha }_{:,1}^S;{\alpha }_{:,2}^S;...;{\alpha }_{:,K}^S;]$.

通过最小化每个子字典(sub-dictionary)的重建错误(reconstruction error) 并限制来自不同类的样本响应不同的子字典来获得 source-domain group sparsity。使用$l_0$范数来进行group-sparseconstraint，学习 source group-sparse dictionary。

$$\underset{D^S,{\alpha }^S}{\min }\sum _{k=1}^K||X_k^S-D_k^S{\alpha }_{k,k}^S-D_r^S{\alpha }_{r,k}^S|{|}_F^2+\eta \sum _{y_i̸=y_j}^n||{\alpha }_{c,(i)}^S\circ {\alpha }_{c,(j)}^S|{|}_0$$