域对抗网络Domain adversarial neural network及其应用相关论文

论文介绍

1.Domain-Adversarial Training of Neural Networks， JMLR,2016

这篇论文是域对抗网络的开山之作，作者从domain adaption理论的角度出发， 最终提出了域对抗网络， 论文的数学性比较强，写的非常详细。回过头来看，其思路也非常简单： 在训练中为了学到与目标域更加general的特征，在中间特征层额外加了一个域分类器用来区分不同样本所属的域，一方面，域分类器通过最小化域分类损失来提高其判别能力，另一方面，通过最大化域分类损失来更新特征提取子网络的参数，这实际上就是一个min-max优化问题。

网络示意图如下： 主要由三个module组成： feature extractor，label predictor, domain classifier, 如图所示，域分类器的损失在 feature extractor层会有gradient reverserial 操作 （因为是最大化）。

参数更新规则：

可以看到：feature extractor module的参数更新有点意思： 主任务的损失在该处反向传播以最小化主任务（可以是分类或者回归）损失，另一方面，域分类器的损失在此处正向传播以欺骗域分类器。从而使得学习到的特征：informative 并且 general/cross domain.

2. Developing Personalized Models of Blood Pressure Estimation from Wearable Sensors Data Using Minimally-trained Domain Adversarial Neural Networks， MLHC,2020

将域对抗的思想应用于血压预测(回归任务)

3. A Principled Approach for Learning Task Similarity in Multitask Learning, IJCAI, 2019.

多任务学习框架， 将域对抗的思想用于多任务学习中，使得学习到的特征更加general (cross-task)， 作者还推导了多任务框架下利用任务间相似性的泛化误差界。值得一看。

4. Multi-domain adversarial learning， ICLR, 2019

作者推导了半监督场景下的多域对抗学习的泛化误差界，将其应用于生物医学图像数据集，好像是显微镜数据。论文值得一看。

5.Task Similarity Estimation Through Adversarial Multitask Neural Network, IEEE TNNLS, 2021.

将域对抗的思想用于多任务学习中, 估计任务相似度。

6. A Novel Neural Network Model based on Cerebral Hemispheric Asymmetry for EEG Emotion Recognition | IJCAI18

7. A Bi-hemisphere Domain Adversarial Neural Network Model for EEG Emotion Recognition, IEEE Transactions on Affective Computing, 2018.

8. Multi-Domain Adversarial Learning for Slot Filling in Spoken Language Understanding

总结

未完待续…