ADDA原理理解
ADDA中源域和目标域经过不同的映射来实现对齐。
ADDA的目标函数包括三项:
1.源域的分类误差项
2.域分类器的分类误差项
3.生成器在目标域的误差项
1.源域的分类误差项
源域数据在经过映射Ms后的分类误差最小:
2.域分类器的分类误差项
在源域和目标域分别经过Ms和Mt的映射后,经过域分类器进行分类,把源域和目标域的域分类问题看作二分类问题,源域的标签为1,目标域的标签为0,判别器的域分类误差定义如下:
3.生成器在目标域的误差项
在训练Mt时引入了对抗的思想,将映射函数Mt(·)看作是生成器,希望Mt(Xt)生成的数据能够愚弄判别器,让判别器判断错误,将它判别为1,所以生成器的损失定义为:
最终ADDA的目标函数:
ADDA的思想总结:一是希望在利用源域标签信息训练一个分类器,使得源域分类误差最小。二是利用GAN的对抗思想训练目标域的网络,既希望判别器能够将两域分正确,又希望生成器(Mt)能够愚弄判别器将目标域分为源域。对于源域网络的约束只有分类器项和判别项,对于Mt的约束才是对抗思想。
ADDA算法网络训练过程
Target CNN 的网络参数初始化使用的是源域预训练得到的模型。