推荐算法之特种工程Embedding篇《个人笔记》

一、特征工程embedding学习背景

1.1 Embedding的定义及应用

  Embedding目的是将符号性数值映射到一个稠密且有关系的低维空间中，即用一个低维稠密的向量’表示‘一个对象，在深度学习模型中为了便于模型处理特征，在推荐召回层主要为了得到相关特征的关系便于召回等，其应用也不局限于此，应用非常广泛，特点是综合信息能力强、易于上线部署，尤其在推荐、广告、搜索为核心的领域中。

1.2 Embedding如何在深度学习中使用

  在众多的深度学习模型中基本都会使用embedding层作为对商品等的映射，其重用正如上面所说，但值得注意的是深度学习中的embedding层很多时候都是做了预训练，然后再输入到推荐模型中，原因其实也很简单，就是对象往往太多，当展开成one-hot时候其维度往往是上万甚至更多，这样的权重参数是参与端到端训练是计算资源无法承受的，往往对此采用预训练将训练好的embedding作为编码层输出embedding作为模型的起始输入，正因此，推荐领域才出现了embedding这一重要的研究方向，尤其在工业界，如何训练，采用什么模型训练等都成为该领域一个重要的研究方向。

后续将继续