论文阅读 (十四)：Ensemble Transfer Learning Algorithm (2018TrResampling)

引入

  论文地址：https://ieeexplore.ieee.org/document/8194845
  摘要要点：
  1）迁移学习和集成学习是解决训练数据与测试数据分布不同的新趋势。
  2）本文设计了当训练数据不充分时的集成迁移学习框架，以提高分类精度：
  2.1）提出用于迁移学习的加权重采样方法，命名为TrResampling。在每次迭代中，对source domain中权重较大的数据进行重采样，并使用TrAdaBoost来调整source data和target data之间的权重；
  2.2）使用Baywa、decision tree和SVM作为基学习器，并使用最佳性能的学习器来进行迁移学习。

1 TrResampling

  通过以下两个伪代码，可以对该算法有一个大致的了解：

  算法1：权重重采样Weighted-Resampling (WR) 框架
  输入：
    大小为$N$的训练集$D$
  1：随机生成训练集权重$w_i$
  2：创建一个与$D$等大小的新数据集$D^{\prime }$
  3：为$D$中的每一个样本生成一个采样概率$p_i$
  4：for $i=1$ to $N$ do
  5：  if ${\sum }_{j=1}^{j=i}{p}_j<={\sum }_{j=1}^{j=i}{w}_i$ then
  6：    添加$D$中第$i$个样本至$D^{\prime }$
  7：  end if
  8：end for
  输出：重采样数据集$D^{\prime }$

  算法2：TrResampling框架
  输入：
    大小为$N$的训练集$D$、大小为$m$的源数据 D S = { ( x 1 S , y 1 S ) , ⋯   , ( x m S , y m S ) } D_S = \{ (x_1^S, y_1^S), \cdots, (x_m^S, y_m^S) \} DS​={(x1S​,y1S​),⋯,(xmS​,ymS​)}和大小为$n$的目标数据 D T = { ( x 1 T , y 1 T ) , ⋯   , ( x n T , y n T ) } D_T = \{ (x_1^T, y_1^T), \cdots, (x_n^T, y_n^T) \} DT​={(x1T​,y1T​),⋯,(xnT​,ynT​)}、基学习器BaseLearner (BL) 例如TrAdaBoost ($D_S$和$D_T$来自同一实例空间$\mathcal{X}$，但具有不同的分布；训练集包含$D_S$、$D_T$；$D_T$与测试集的分布相同；本文中，有$0<\mathbf{n}\ll \mathbf{m}$；疑惑：如何划定$D_S$、$D_T$)
   1：$D^{\prime }=D$、$\forall w_i=1$
   2：for $t=1$ to $T$ do
   3：  $D^{\prime }=\text{WR}(D_S)+D_T$
   4：  模型$h_t=\text{BL}(D^{\prime })$
   5：  计算$D_T$上的预测误差${\epsilon }_t={\sum }_{i=n+1}^{n+m}\frac{w_i^t|h_t\left(x_i\right)-y_i|}{{\sum }_{i=n+1}^{n+m}{w}_i^t}$
   6：  $t$++
   7：  if ${\epsilon }_t>0.5\text{ or }t=T$ then
   8：    前往步骤5
   9：  else
  10：    设置${\beta }_t=\frac{{\epsilon }_t}{1-{\epsilon }_t}$、$\beta =\frac{1}{1+\sqrt{2\ln \frac{n}{m+n}}}$
  11：  end if
  12：  更新权重$w_i^{t+1}=\{\begin{array}{c}{w}_i^t{\beta }^{|h_t\left(x_i\right)-c\left(x_i\right)|},1\le i\le n\\ w_i^t{\beta }_t^{-|h_t\left(x_i\right)-c\left(x_i\right)|},n+1\le i\le m\end{array}$
  13：end for
  输出：$H^{\ast }(x)={\mathrm{argmax}}_{y\in Y}{\sum }_{t:h_t(x)=y_i}\log \frac{1}{\beta }$

2 集成迁移学习

  解决：如何划定$D_S$、$D_T$

2.1 Bagging-Based

  步骤如下：
  1）划分源数据集为多个子集，并添加目标数据到每个子集；
  2）基于投票为目标数据中的未标记数据标注；
  3）多次迭代，获得多个分类器。

  what？？？

2.2 MultiBoosting-Based