《Neural Input Search for Large Scale Recommendation Models》笔记

一、综述：

起因：推荐场景下，embedding维度太大，参数太多，导致高存储占用，feature embedding的每一维不能有效的训练。

本文内容：NIS主要应用推荐场景下（Recall/Rank），输入特征的embedding产生大量的训练参数，而且对于不同的特征以及一个特征的不同值，因为他们的覆盖的样本数据不同，因此这些参数得到train的机会也有不同，对于覆盖高频的特征或特征值用较高的embedding dimension能够更好的表达特征的信息。单一的embedding dimension不能高效的发挥模型和训练数据的能力。

Neural Input Search(NIS)文章主要解决类别特征的vocab size和embedding dimension的自动探索。解决的Embedding dimension问题包括：Single size embedding（feature的不同value有相同的embedding dimension）和Multi-size Embedding（feature的不同value有不同的embedding dimension）

 

二、解决的问题