Distant Domain Transfer Learning

摘要

在本文中，我们研究了一种新的转移学习问题，称为远域迁移学习（DDTL）。与现有的迁移学习问题不同，假设源域和目标域之间存在密切关系，在DDTL问题中，目标域可能与源域完全不同。例如，源域对面部图像进行分类，但目标域区分平面图像。受人类认知过程的启发，通过逐渐学习中间概念可以连接两个看似无关的概念，我们提出了一种选择性学习算法（SLA），用监督自动编码器或监督卷积自动编码器作为处理不同类型的基础模型来解决DDTL问题。投入直观地，SLA算法从中间域逐渐选择有用的未标记数据作为桥梁，以打破用于在两个远域之间传递知识的大分布间隙。对图像分类问题的实证研究证明了所提算法的有效性，并且在某些任务上，分类精度方面的改进比“非转移”方法高达17％。

问题定义

• 源域： S = { ( x S 1 , y S 1 ) , ⋯   , ( x S n S , y S n S ) } \mathcal{S}=\{(x_\mathcal{S}^1,y_\mathcal{S}^1),\cdots,(x_\mathcal{S}^{n_\mathcal{S}},y_\mathcal{S}^{n_\mathcal{S}})\} S={(xS1​,yS1​),⋯,(xSnS​​,ySnS​​)},其中有$n_{\mathcal{S}}$个数据，足够源域做精确的分类。
• 目标域： T = { ( x T 1 , y T 1 ) , ⋯   , ( x T n T , y T n T ) } \mathcal{T}=\{ (x_\mathcal{T}^1,y_\mathcal{T}^1),\cdots,(x_\mathcal{T}^{n_\mathcal{T}},y_\mathcal{T}^{n_\mathcal{T}}) \} T={(xT1​,yT1​),⋯,(xTnT​​,yTnT​​)}，仅有$n_{\mathcal{T}}$个数据，不够训练好的分类器。
• 中间域： I = { x I 1 , ⋯   , x I n I } \mathcal{I}=\{ x^1_\mathcal{I},\cdots, x^{n_\mathcal{I}}_\mathcal{I}\} I={xI1​,⋯,xInI​​}，有足够多的($n_{\mathcal{I}}$个)无标记数据。

算法

1. Auto-Encoders and Its Variant

• encoding function编码函数：把输入数据映射成隐藏的表示（hidden representation）即，$h=f_e(x)$.
• decoding function解码函数：重构$x$即，$\hat{x}\approx f_d(h)$.
• 重构误差：$$\underset{f_e,f_d}{\min }\sum _{i=1}^n\Vert {\hat{x}}_i-x_i{\Vert }_2^2$$

2. Instance Selection via Reconstruction Error（通过重构误差的实例选择）

要从中间域中选择有用的实例，并从源域中删除目标域的不相关实例，我们建议通过最小化源域和中间域中所选实例的重建错误来学习一对编码和解码函数， 和目标域中的所有实例同时进行。 要最小化的目标函数表述如下：
$${\mathcal{T}}_1=(f_e,f_d,v_S,v_T)=\frac{1}{n_S}\sum _{i=1}^{n_{\mathcal{S}}}{v}_S^i\Vert {\hat{x}}_S^i-x_S^i{\Vert }_2^2+\frac{1}{n_I}\sum _{i=1}^{n_{\mathcal{I}}}{v}_I^i\Vert {\hat{x}}_I^i-x_I^i{\Vert }_2^2+\frac{1}{n_T}\sum _{i=1}^{n_{\mathcal{T}}}{v}_T^i\Vert {\hat{x}}_T^i-x_T^i{\Vert }_2^2+R(v_s,v_T)$$其中$v_S=(v_S^1,\cdots ,v_S^{n_S}{)}^T,v_I=(v_I^1,\cdots ,v_I^{n_I}{)}^T$ ，并且 v S i , v I j ∈ { 0 , 1 } v_S^i,v_I^j\in\{0,1\} vSi​,vIj​∈{0,1}是选择指示数，对源域中实例 $i$ 和目标域实例 $j$。
$R(v_s,v_T)$是$v_S,v_T$的正则项，是为了避免无效的答案（即，所有的$v_S,v_T$值都是0
$$R(v_s,v_T)=-\frac{{\lambda }_S}{n_S}\sum _{i=1}^{n_S}{v}_S^i-\frac{{\lambda }_I}{n_I}\sum _{i=1}^{n_I}{v}_I^i$$其中${\lambda }_S,{\lambda }_I$是衡量两者重要性的参数。

3. Incorporation of Side Information（合并辅助信息）

${\mathcal{T}}_1$可以通过$v_S,v_T$，从源域和中间域中，挑选出对目标域有用的样本。并且同时通过编码函数$f_e$，在不同的域中学习出高层次的数据隐含表示（high-level hidden representations）.但是隐含表示可能与目标域的分类任务不相关。为了解决这个问题，我们需要合并从不同域中学习到的隐含表示。

• 在源域和目标域中，标记数据可以作为辅助信息
• 中间域没有标签，所以中间域的预测值作为辅助信息
  用预测值的置信度来引导隐含表示的学习
  $${\mathcal{T}}_2=\frac{1}{n_S}\sum _{i=1}^{n_S}{v}_S^i\ell (y_S^i,f_c(h_S^i))+\frac{1}{n_T}\sum _{i=1}^{n_T}\ell (y_T^i,f_c(h_T^i))+\frac{1}{n_I}\sum _{i=1}^{n_I}{v}_I^{i}g(f_c(h_I^i))$$.
  其中，$f_c(\cdot )$分类函数；$\forall 0\le z\le 1,g(z)=-z\ln z-(1-z)\ln (1-z)$.