1、Minimal-entropy Correlation Alignment for Unsupervised Deep Domain Adaptation(ICLR 2018)
在介绍文章之前,先理解下CORAL[1](CORrelation ALignment )这个概念,这个概念来自 Return of Frustratingly Easy Domain Adaptation. AAAI 2016这篇文章,个人是超喜欢这篇文章,忍不住把它摘要附上,算是致敬下!!!
看到’frustratingly easy’,以及爱因斯坦名言一放,我不知道你们啥感觉,反正我第一眼感觉是,真能‘装逼’,不过我个人还是超喜欢这种高调的人,请收下我的膜拜,扯远了。回归正题:这篇文章对二阶统计量对齐, 即协方差矩阵对齐—>对源域的协方差矩阵经过线性变换后与域目标域的协方差矩阵对齐,最优美的是论文推导出的闭式解形式。下面附上自己整理的PPT截图:
4行代码的算法,白化,然后重新着色,效果最好,如图c
一、回到这篇论文,文章主要围绕相关对齐correlation alignment 和熵最小化entropy minimization做了一些研究
这里用熵最小化作为超参数⅄的选择,的确非常奇妙,U和V分别是协方差矩阵的特征分解,二阶统计量的确有内在的美,这里还有个实验挺有趣的,也就是用测地线距离时,熵最小,精度也能达到最好,而用欧式距离计算时,却不能保证。