动态调整嵌入向量的维数

汤吉良老师团队，发表于2020的SIGIR

《Automated Embedding Size Search in Deep Recommender Systems》论文阅读笔记

1. 背景：
   深度推荐系统，将用户项目表示为低维嵌入向量，然后输入到深度神经网络中进行预测。基于深度学习的推荐系统，能够很好的学习用户，项目的特征表示，而且还能建模用户，项目之间的非线性关系。
2. 已有方法：
   用户，项目的嵌入向量大小固定统一。软选择嵌入向量的大小。
3. 存在问题：
   推荐性能并不是最优，并且空间复杂。
   （1） 不同的用户，项目有不同的频率，不同的嵌入大小会影响模型的性能（低维嵌入更适合于频率较低的用户/项目。在数据较少的情况下，低维嵌入可以很好的训练，但是高维嵌入可能会导致过拟合）
   （2） 用户，项目的频率是动态变化的；
   （3） 对所有的用户项目使用固定统一的嵌入大小需要更多的内存。
4. 本文：
   动态搜索嵌入向量的大小，并引入了一个嵌入大小调整策略网络。硬选择嵌入向量的大小，做出更准确的选择，并且减小了存储空间。
   
   给定第k个用户项目交互对，策略网络首先选择合适嵌入向量大小，然后查找嵌入表