【论文泛读】Leveraging Distribution Alignment via Stein Path for Cross-Domain Cold-Start Recommendation

Leveraging Distribution Alignment via Stein Path for Cross-Domain Cold-Start Recommendation - 2021 NeurIPS

这是一篇发在NeurIPS 2021会议上的文章，读到它其实是机缘巧合，在文章返修的时候，审稿人指出我们的Related Work中应该包含这篇，于是就把这篇文章粗略看了看，与我们投稿所关注的SCSR问题是有关联的，但问题也不完全类似。单就文章的思路来说，作者条理清晰，举例恰当，本人在阅读过程中受到一些启发，在这里分享给大家：

论文解决的具体问题和主要假设

这篇文章是一篇典型的解决跨域CDR问题的文章，并且作者在本文中着重关注于CDCSR（Cross-Domain Cold-Start Recommendation）问题，也就是研究跨域冷启动推荐。该问题具体来说，即认为源域是热门域，而目标域是冷门域，主要研究目标可以总结为如何利用来自源域（其中items为“warm-items”）的信息来提高目标域（其中items为“cold-items”）的推荐性能。

当然CDCSR的研究在很早的时候就开始了，所以这并不是一个新的应用场景。作者随后指出了目前研究中的不足：即目前已有的CDCSR方法其实没能关注到域间embedding的潜在差异（由于域间信息异构性带来的差异），并因而导致了他们模型的退化（model degradation）问题。关于CDCSR作者指出，现有的CDR方法几乎都是假设冷门域和热门域的数据的分布是一致的，即假设他们都是服从均匀分布的。但作者认为，来自不同域的item由于域间的信息差异和异构性是不可能服从相似分布的，应该在潜在地嵌入分布上有所区别（其实，我个人觉得这应该也可以转化成先前分析过的跨域推荐问题中的域间行为差异公平性问题）。作者进一步指出本文解决的具体问题，是要尝试更有效地对齐来自不同域信息的分布，从而实现性能的提高。

论文使用的方法

为了解决上述问题，作者提出了一种由两个components组成的框架（如图所示，包含Rating Prediction Module和 Embedding Distribution Alignment Module），源域中的Rating Prediction Module主要是为了建模user和item之间的collaborative embedding，并将item的collaborative embedding与item的auxiliary embedding相匹配。Embedding Distribution Alignment Module是为了将warm-item和cold-item之间的分布跨域对齐，但对齐的目标其实是他们的auxiliary embedding（这是因为作者认为能够体现域间交互差异性，需要对齐的其实只有auxiliary embedding，而原本的U-I共现矩阵是域无关的，这是个很有意思的假设），充分减少源域和目标域中辅助潜在特征嵌入之间的差异。在这个框架中，作者使用了来自原始数据中的，除评分数据以外的附加信息（Auxiliary info）来帮助对齐两个域的分布。而主要创新点在于对齐Auxiliary分布的路径对齐算法，作者在本文中共探讨了两种方法（基础型和性能改进型），都有详细的公式和解释，并且对上图中的两个component的5个loss，也都解释得很明确，但在这篇泛读中不细述这些细节，有兴趣的可以在本文最后找到链接精读本文。

本文的主要贡献

1. 作者提出了一种利用源域和目标域的辅助表示来对齐域间表示的方法，这种方法中包含了使用一种名为DisAlign的路径对齐方式，作者讨论了它的作用，并在此基础上提出了一种提高训练性能的改进型方法。
2. 作者为域间差异的来源做了新的假设，即假设将auxiliary embedding对齐可以缓解域间行为差异对CDCSR带来的噪声问题。

简单读后感

本文提出的跨域冷启动场景在跨域问题中很常见，其实对于大部分需要通过跨域来提高目标域性能的时候基本上都是因为目标域本身性能不够好，而性能差的一大原因往往就是冷启动导致的。在这种情况下，作者提出了这样一种对齐源域目标域分布的思路，可以很好的化解域间行为差异带来的语义不兼容问题，而作者认为这种不兼容问题主要可以通过域附加信息Auxiliary info来体现，如果能够对齐Auxiliary info则可以通过匹配来辅助原有跨域信息的对齐。那么假设如果，目标域和源域无法提供Auxiliary info呢？有没有更好的方法能够将原有的UI embedding对齐呢？这也许是两个值得思考的问题。

另外本文的假设，其实也可以迁移成跨域冷启动场景中的公平性问题。即跨域过程中由于信息异构性导致域间存在语义不兼容的问题，那么如何化解这种问题，也是一个研究方向。

更多信息

如果您通过阅读我的随记，发现本文对您可能有参考价值，请进一步阅读本文原文：

Leveraging Distribution Alignment via Stein Path for Cross-Domain Cold-Start Recommendation on neurips.cc

遗憾的是，截至2022-05-08暂时还没有看到本文被其他大佬的精读分析的文章，所以在这里无法引用。
同样遗憾的，我也没有在文章发现作者提供原生代码，同时也没有发现github或gitee上有复现版本。如果有发现，欢迎在评论区留言，后续有时间会进行补充。（站在巨人的肩膀上学习，继续精进自己的研究）