partial transfer learning文章总结（四）

第三篇：Importance Weighted Adversarial Nets for Partial Domain Adaptation
这篇文章是目前为止partial transfer learning的最后一篇文章，这篇文章的总体思路与上两篇文章是一致的，也是通过首先减小不在源域和目标域共同类别区域的数据样本，同时增大在两域共同类别区域的数据样本，将partial transfer learning问题转化为传统的迁移学习问题。虽然总思路一样，但是具体处理思路与细节与前两篇并不一样，下面分别从网络架构与损失函数两个角度来考虑这个问题。
首先先看网络架构
这一篇文章提出的网络架构与前两个不是很相同，但是依然是基于DaNN网络做的改进，这里Xs与Xt分别表示源域与目标域的样本，Fs与Ft分别为源域与目标域的特征提取器，最后输出的为源域与目标域的特征向量，这里需要经过第一个特征鉴别器D，这个D是用来衡量源域与目标域样本的差异性，其表达式是

这里Ps与Pt分别表示输入样本属于源域和目标域的概率，则D表示的就是属于源域但不属于目标域的概率，所以w(z)为

表示这一点属于源域类且属于目标域类的可能性，w(z)越大表示既属于源域类又属于目标域类可能性越大，越小表示越大的可能属于源域类而不属于目标域类别，即通过w(z)表征样本类别权重的分配情况。这样经过权重处理的样本进入第二个域特征提取器，我们知道域适应特征提取器的表达式是

第一项是源域特征，第二项表征目标域特征，目的是使这一项最小，从而使其无法辨别特征来自源域还是目标域，从而提取到共同特征，在第二个域特征提取器里，其表达式里的源域特征前每一个不同样本均加上了一个权重系数w(z),这个的作用就是表示这个样本属不属于目标域类，从而有效将属于源域类但不属于目标域类的样本剔除。这样第二个域特征提取器的表达式就是：

这里在第二项损失函数里又加了一项
这一项的作用是使熵最小化，所谓熵最小化，就是使每一项均最后只收敛到一个类别，使目标域的类别少，数据稳定，这样第二项总的损失函数就是

这里γ与λ均是表示比例系数。
最后总结一下这个网络训练步骤：首先，先用源域数据做有监督学习，训练完后，将这一度使用的特征提取器作为Fs以及Ft的初始化权重，再将源域数据与源域数据同时输入，来通过两个域鉴别器，来进行训练，第一个判断来自共同域类的可能，作为权重附在源域样本上，再将带有权重源域样本和目标域样本通过第二个域鉴别器减小训练，获取共同特征。从而最后转化为传统迁移学习问题进行训练。
这就是这篇文章的主体思想。