【论文笔记】CIKM2020 S3-Rec: Self-Supervised Learning for Sequential Recommendation with MIM

PROBLEM

现有序列推荐模型通常依赖商品预测损失来学习模型参数或数据表示，然而使用此损失进行训练的模型往往被证明遭受数据稀疏性问题. 因为其过于强调最终表现，没能充分捕捉和利用序列推荐的上下文数据以及序列数据间的关联与融合.

SOLUTION

提出S³-Rec模型，代表基于自注意力神经架构的用于序列推荐的自监督学习.
利用数据固有关联分离自监督信号，通过预训练方法增强数据表示.
分配四个辅助自监督目标，利用共同信息最大化 (MIM) 以分别学习商品-属性、序列-商品、序列-属性和序列-子序列的关联，MIM提供一种统一的方式特征化不同类型数据间的关联.

APPROACH

Self-supervised Learning

自监督学习旨在利用一个ground-truth样本自动从源数据中获取的辅助目标训练神经网络.
通体的框架从源数据中的关联中直接构建训练信号并利用其训练模型.

Mutual Information Maximization

共同信息最大化实际上是自监督学习的一个特殊分支. 它讲输入数据分割成多组 (可能重叠) 视野，然后最大化这些视野表示间的共同信息. 源自其他输入的视野被视为负样本.

Framework

Formula待更.

EXPERIMENTS