域适应系列2：Transferable Curriculum for Weakly-Supervised Domain Adaptation（AAAI 2019）

1、Transferable Curriculum for Weakly-Supervised Domain Adaptation
        论文提出可迁移的课程学习（结合课程学习+对抗学习）方法，解决弱监督域适应中源域样本噪声以及domain shift 的问题。这篇文章是从数据角度出发，是弱监督的域适应方法。
        实际的域适应任务，源域的数据不太可能都是高质量的，也就说真正做域适应任务时，收集的数据肯定是有噪声的（label噪声或特征噪声），比如标签多义性，低质量像素，模糊、重叠、遮挡或损坏等。弱监督域适应需要解决的问题正是这一类问题—>源域数据不是那么clear。在讲这篇文章具体方法之前，先补充两个概念：课程学习Curriculum learning和自步学习 Self-paced learning 。
        课程学习：对样本进行权重动态分配的过程，它所要优化的目标函数如下：R是一个关于权重分配的函数，假如现在已经确定好了各个样本的权重，那就已经定义好了一个课程。整个目标函数是交替优化，当w固定时，即定义好了一个课程时，就可以去优化θ；接着固定θ，去更新w，即课程更新；课程学习根据权重分配，赋予了对样本学习的先后顺序。

        自步学习Self-paced learning ：更具体些，假如R是取权重l1正则，对于样本i，假如当Li<⅄，则w=1，表示选择了该简单样本进行学习，也就是说⅄这个超参控制着从简单样本到复杂样本的学习过程。对于自步学习，学习算法在每一步迭代中已经决定了下一步学习的样本，可认为是课程学习的一个实例。

一、论文解决方案

• 目标：当然是希望消除源域上那些噪声样本的负面影响，并保证那些clear的样本能够正向迁移。首先想到的课程学习解决方案–>根据预定的课程，选取损失较小的源样本进行训练，从而消除噪声的负面影响。
• 难点：对于域适应任务，两个域的分布不同，其次是噪声的引入，根本不知道需要迁移哪一部分源域样本。也就是说由于domain shift 和样本噪声耦合在一起，已有的课程学习方法（权重分配方法）根本不适用。
• How：对样本噪声和domain shift 解耦，交替优化，文章设计了两个子优化问题
  （1） Learning with Transferable Curriculum
          利用标准的课程学习方法，从可迁移样本到不可迁移样本，逐步学习
  
  
          上面两个公式，下面是熵损失，假设定义好了一个课程w(x)，那就可以确定哪些样本是可迁移和不可迁移，也能知道样本是不是noiseless，这样就解决了第一个问题：样本噪声。在弱监督的域适应中还有另外一个问题需要解决，domain shift，利用对抗学习来减小两个域的差异。
  
  
          只用部分样本，学习两个域的对齐特征，随着域判别器的学习，噪声样本也会过滤掉

（2） Constructing the Transferable Curriculum
        哪些样本是可迁移和不可迁移，即如何构建w(x)，这也是这篇文章的核心，一个样本如果被域判别器大概率判别为来自为target domain，那意味着这个样本的可迁移性就很大。


       公式表达的意思是：那些简单，迁移性强的样本产生的损失小，更加有可能被选中，进行课程学习训练
（3）实验
        论文代码复现和实验结果
        集体讨论有什么可改进的点