汤吉良老师团队,发表于2020的SIGIR
《Automated Embedding Size Search in Deep Recommender Systems》论文阅读笔记
- 背景:
深度推荐系统,将用户项目表示为低维嵌入向量,然后输入到深度神经网络中进行预测。基于深度学习的推荐系统,能够很好的学习用户,项目的特征表示,而且还能建模用户,项目之间的非线性关系。 - 已有方法:
用户,项目的嵌入向量大小固定统一。软选择嵌入向量的大小。 - 存在问题:
推荐性能并不是最优,并且空间复杂。
(1) 不同的用户,项目有不同的频率,不同的嵌入大小会影响模型的性能(低维嵌入更适合于频率较低的用户/项目。在数据较少的情况下,低维嵌入可以很好的训练,但是高维嵌入可能会导致过拟合)
(2) 用户,项目的频率是动态变化的;
(3) 对所有的用户项目使用固定统一的嵌入大小需要更多的内存。 - 本文:
动态搜索嵌入向量的大小,并引入了一个嵌入大小调整策略网络。硬选择嵌入向量的大小,做出更准确的选择,并且减小了存储空间。
给定第k个用户项目交互对,策略网络首先选择合适嵌入向量大小,然后查找嵌入表