【论文】A Collaborative Transfer Learning Framework for Cross-domain Recommendation

Intro

业界常见的跨域建模方案主要分为两种范式[22][32][5][36][17][14][20]：1) 将源样本和目标样本进行联合和混合，然后执行多任务学习技术，以提高在所有域中的性能；2) 使用混合或数据丰富的源域数据预先训练模型，然后在数据不足的目标域中对其进行微调，以适应新的数据分布。在第一种方法中，通过不同类型的网络设计来学习特定域特征和域不变特征，其中域指标通常用于识别域。在微调范式中，该方法主要认为目标领域的数据不足以使参数得到充分训练。因此，在这种观点下，有必要先进行预训练以训练参数，然后通过目标域数据使模型收敛到最佳状态。这两种范式已被证明在某些情况下是有效的，但在某些场合可能仍有不足，我们将在下文中讨论这些局限性。

对于多任务学习解决方案来说，所有源领域数据都与目标数据混合在一起，他们假设模型架构一定能识别出差异和相似性。然而，这可能过于理想化。随着领域的变化，用户行为和项目组也可能不同，而且不同领域的数据量也可能不同。因此，训练过程很容易被数据丰富的领域所支配，导致稀疏领域的训练不足（即跷跷板效应[33][3][29]）。因此，这类方法对稀疏目标域并不友好。

对于预训练和微调方案，微调过程有望利用训练参数并通过目标样本引导优化。然而，在源域训练的最优解可能是目标域的局部最小值（即非最优解微调问题[12][8]）。数据分布的偏移在不同域之间广泛存在，例如，同一项目在不同域以不同创意形式显示时，点击率是不同的。当参数经过良好训练以适应源分布时，模型很难跳出并在目标域中找到新的合适最优值。因此，有必要评估源能为目标带来多少有益信息。

为了解决跨领域建模中源领域样本带来的问题，我们提出了跨领域协作迁移学习框架（CCTL）算法。CCTL 算法主要包括三个部分：对称同伴网络、信息流网络和表征增强网络。对称同伴网络训练混合模型（目标样本和源样本）和纯模型（仅目标样本）。根据两部分效果的差异，评估当前源域样本对目标域是否有帮助。信息流网络传输为每个源样本计算的样本权重，并执行域间语义配准。最后，表征增强网络作为一项辅助任务，在每个域中保持特定域的特征。本文的主要贡献如下：

为了解决跨领域建模中源领域样本带来的问题，我们提出了跨领域协作迁移学习框架（CCTL）算法。CCTL 算法主要包括三个部分：对称同伴网络、信息流网络和表征增强网络。对称同伴网络训练混合模型（目标样本和源样本）和纯模型（仅目标样本）。根据两部分效果的差异，评估当前源域样本对目标域是否有帮助。信息流网络传输为每个源样本计算的样本权重，并执行域间语义配准。最后，表征增强网络作为一项辅助任务，在每个域中保持特定域的特征。本文的主要贡献如下ÿ