三、深度哈希(id——embedding)
《Learning to Embed Categorical Features without Embedding Tables for Recommendation》Google KDD 2021 Research Track
文章以 NLP的视角切入推荐系统中embedding的问题:
- NLP中存在分词的机制,所以词表大小远远小于推荐中纯ID类的词表;
- NLP中的词表是静态的(因为词语是固定的),而推荐中词表需要经常更新(因为有新用户等进入);
- 推荐中的高度偏移的数据分布,也就是如何处理长尾数据的embedding
文章提出Deep Hash Embeddings (DHE) 的方式来缓解以上问题,AUC相等的情况下模型参数量更少。
现有方法
One-hot full embedding
这种方式就是最常见的方法,即把所有类别特征进行编号,假设共 n 个特征。特征s 首先通过one-hot进行编码 E ( s ) = b = { 0 , 1 } n E(s)=b=\{0,1\}^n E(s)=b={ 0,1}n , 其中只有第 b s b_s bs 项为1,其他都为0。接着通过一个可学习的线性变换矩阵(说白了就是embedding table,可以看作一层神经网络,但没有bias项)得到对应的embedding表示: e = W T b e=W^Tb e=WTb 。
这种方法的缺点:1、embedding table随特征数量线性增长(即内存问题);2、无法处理新出现的特征(OOV)。
One-hot Hash Embedding
为了解决One-hot Full Embedding中的内存消耗巨大的问题,可以使用**「哈希函数」对类别特征进行「映射分桶」**,将原始的 n 维的 one-hot 特征编码映射为 m 维的 one-hot 特征编码(即m个桶, m < < n m<<n m<<n )。这样,embedding table只用存储m项,大大降低了参数量。
相比One-hot Full Embedding,编码部分变为: E ( s ) = b = { 0 , 1 } m