DYNAMICALLY DECODING SOURCE DOMAIN KNOWLEDGE FOR UNSEEN DOMAIN GENERALIZATION

题目：DYNAMICALLY DECODING SOURCE DOMAIN KNOWLEDGE FOR UNSEEN DOMAIN GENERALIZATION
作者：Cuicui Kang and Karthik Nandakumar

一、研究背景：
跨域：提取域不变特征、聚合多个专家域的知识
缺陷：源域知识没有被很好地利用。缺少知识转换或源域间的交互，在生成特征时没有恰当地探究源域间关系。

二、研究目标：
动态解码源域知识，辅助未知域的推理，实现域泛化

三、技术路线：

未知域和源域会有某些相似性，如果可以发现域间关系，相近的域专家可以给新图片更好的指导。
1、CNN：浅层通用特征提取
2、为每个源域设置一个域特有专家，并设置一个不可知域分支作为查询；
3、Transformer：深层特征提取、域关系探索
基于transformer的编码器编码源域特征作为源域知识记忆，利用自注意力机制发现域间相似性，共享通用、特有域知识；稳固深层架构的学习。
基于transformer的解码器动态解码源域知识，利用交叉注意力使域不可知查询向量和源域知识记忆进行交互，令相似的域贡献更大
4、同时输入多张不同域图片，将源域专家提取的特征作拼接后送入编码器生成记忆；在解码器中利用交叉注意力探究不同域的关系；查询分支依次对比每张图片。

四、实验结果：