Long, Mingsheng, et al. “Unsupervised domain adaptation with residual transfer networks.” Advances in Neural Information Processing Systems. 2016.
问题:
domain adaptation用于分类问题。其中source domain具有label,target domian无label。
文章假设:
We relax a shared-classifier assumption made by previous methods and assume that the source classifier and target classifier differ by a residual function.
网路结构 (Residual Transfer Network (RTN))
一般domain adaptation 用于分类任务的网路结构是一个特征提取器+分类器:
文章对于source domain和target domain采用不同的分类器结构
即source domain的分类器较target domain多了一个参差块
f S ( x ) = f T ( x ) + Δ f ( x ) f_S(x)=f_T(x)+\Delta f(x) fS(x)=fT(x)+Δf(x)
其中
f s ( x ) = σ ( f S ( x ) ) , f t ( x ) = σ ( f T ( x ) ) f_s(x)=\sigma(f_S(x)),f_t(x)=\sigma(f_T(x)) fs(x)=σ(fS(x)),ft(x)=σ(fT(x))为激活值。
这样可以根据source domain里面的label进行训练,如果设置成
f
T
(
x
)
=
f
S
(
x
)
+
Δ
f
(
x
)
f_T(x)=f_S(x)+\Delta f(x)
fT(x)=fS(x)+Δf(x)则没法训练。
残差块的特性保证了 ∣ Δ f ( x ) ∣ ≪ ∣ f T ( x ) ∣ ≈ ∣ f S ( x ) ∣ |\Delta f(x)| \ll |f_T(x)| \approx |f_S(x)| ∣Δf(x)∣≪∣fT(x)∣≈∣fS(x)∣
也就是说保证了target和source classifier 不会偏离太多
与此同时,为了保证迁移到target domain后的性能,还是根据最小熵原则去调整分类器的迁移
损失函数
分类损失
where L ( ⋅ , ⋅ ) L(·, ·) L(⋅,⋅) is the cross-entropy loss function
MMD penalty
这里 z i z_i zi指的是第i个样本 x i x_i xi,各层输出值的按=element-wise 乘积:
z i = ⊗ l ∈ L x i l z_i = \otimes_{\mathcal{l} \in L} x_i^{\mathcal{l}} zi=⊗l∈Lxil
k
(
x
,
y
)
k(x,y)
k(x,y)为高斯核函数,见下图:
文章说这样做的好处是捕捉到多层特征间的关联,并且便于模型选取。
entropy penalty
前面已讲