论文略读：On the Embedding Collapse When Scaling Up Recommendation Models

2024 ICML

1 嵌入维度坍塌现象

• 嵌入维度坍塌 (Dimensional Collapse) 指的是，在一个高维空间中，推荐模型的很多特征的嵌入表征只支撑起一个低维的子空间。
  • 如果只是简单地将每个特征的嵌入表征的长度拉长，虽然模型的参数量会线性增大，但是由于大部分特征的有效维度很小，导致模型效果提升幅度不大，甚至有所下降
  • 
• 同时，论文基于奇异值分解对模型学习到的嵌入矩阵进行谱分析，发现大多数嵌入矩阵的奇异值衰减很快，即大多数特征的嵌入矩阵是低秩的。
  • 

2 交叉坍塌定律

论文随后提出了信息丰度和交叉坍塌定律（这里略）

3  方法

• 提出了多嵌入范式 (Multi-Embedding Paradigm)
  • 为所有的特征 ID 学习多套嵌入表征，并且基于每套嵌入表征学习独立的专家网络
  • 最后基于MoE 输出最终预估值