[cvpr2017]Learning an Invariant Hilbert Space for Domain Adaptation

马氏距离

Introduction

• 本文适用于半监督和无监督形式的domain adaptation
• 作者尝试开发一个几何解决方案，通过利用黎曼几何的概念学习潜在空间（latent space）的投影和马氏距离。
• 作者建议从source domain和target domain沿着相关联的映射学习潜在空间（latent space）的结构，以解决无监督和半监督DA的两个问题。
• 为此，作何提出在latent space中最大化discrimination power（区分source domain和target domain）的概念。同时，这个latent space也要能够做到最小化source domain和target domain的某个统计量之间的差异
• 特别地，作者利用矩阵流形上的黎曼几何和优化技术来解决问题。流形科普1；流形科普2（简而言之就是用非线性方式将数据从高维降到低维的，并且保持拓扑结构不变，对机器学习而言，流形学习就是一个提取特征的过程）

Proposed Method

• 作者建议学习一个 Invariant Latent Space (ILS)来减少source domain和target domain之间的discrepancy（差异）。
• 定义：
  
• ILS定义了将source domain和target domain的数据映射到p维lantent space空间的变换$W_s$和$W_t$：
  
• latent space用马氏距离$M$作为度量：
  
• cost function:
  $$L = L_d+\lambda L_u$$
  
  • $L_d$（Discriminative）：source domain和target domain的相异度（dissimilarity）
  • $L_u$（Unsupervised）：衡量source domain和target domain之间差异的一个统计量

Discriminative Loss

• $L_d$是为了使得latent space能够：
  
  • 最小化latent space中来自同一个分类的样本的不相似度
  • 最大化latent space中来自不同分类的样本的不相似度
• 定义来自latent space中的样本$Z$（这里允许半监督）：
  
• 度量$M$要使得相似的pair距离小，不相似的pair距离大
  
  
  • 当$\beta \rightarrow \infty$时，$l_\beta$趋近hinge-loss函数，$l_\beta$科技看成hinge-loss函数的平滑可导的变体，主要是为了便于优化和避免陷入单一样本点
    
  • 该公式中，$x^tMx$计算了$z_{1,k}$与$z_{2,k}$的马氏距离（根据原始公式，这个$M$理应是$(z_{1,k}-z_{2,k})$的协方差矩阵的逆矩阵，但是这里并不是，我在想为什么）
  • pairs中$z_{1,k}$与$z_{2,k}$的循序与$l_\beta$的大小无关
  • $y_k=1$时也就是相似的时候，$l_\beta$随$z_{1,k}$与$z_{2,k}$的马氏距离的增加而增加，$y_k=-1$时也就是不相似的时候，$l_\beta$随$z_{1,k}$与$z_{2,k}$的马氏距离而减少
  • 使用Stein divergence（？）将$M$正则化（regularize）
    
    

Soft Margin Extension

• 当$\beta$很大时（接近hinge-loss这种hard margin），会出现大量的异常数据（outliers）。迫使outliers在margin范围内会导致过拟合。因此，作者对$L_d$作出了名为Soft Margin Extension的改进（加入了松弛变量）：
  

Matching Statistical Properties

• 由于协方差矩阵表现了提取出的特征当中各个维度之间的相关性，因此作者使用协方差矩阵来捕捉source domain和target domain之间的不匹配程度
  

模型总览

(剩下的内容因为我水平所限，估计要等我学习一段时间（流行学习这一块盲区太多）后再来看才有可能看懂，这里先附上作者源代码