Embedding了解

1.Embedding 嵌套

英 [ɪm'bedɪŋ]  美 [ɪmˈbedɪŋ] 
n. 记者随军
v. 把（物体）嵌入；派遣（战地记者等）；使（观点）深深植入；嵌进（短语）；
插入（代码）（embed 的现在分词）

Embedding是一个将离散变量转为连续向量表示的一个方式。在神经网络中，Embedding不仅可以减少离散变量的空间维数，同时还可以有意义的表示该变量。

转换到低维空间

使用嵌套（将高维度数据映射到低维度空间）可以解决稀疏输入数据的问题，也就是将大型稀疏矢量映射到一个保留语义关系的低维空间。

特征嵌入

将数据转换（降维）为固定大小的特征表示（矢量），以便于处理和计算（如求距离）。例如，针对用于说话者识别的语音信号训练的模型可与允许您将语音片段转换为数字向量，使得来自相同说话者的另一片段与原始向量具有小的距离（例如，欧几里得距离）。

2.Embedding 的主要目的

对（稀疏）特征进行降维，它降维的方式可以类比为一个全连接层（没有激活函数），通过Embedding层的权重矩阵计算来降低维度。

1. 在Embedding空间中查找最近邻，这可以很好的用于根据用户的兴趣来进行推荐。

2. 作为监督性学习任务的输入。

3. 用于可视化不同离散变量之间的关系。

3.Embedding 应用

Embedding向量的使用据说是推荐算法中必不可少的一部分。

• 在深度学习网络中作为Embedding层，完成从高维稀疏特征向量到低维稠密特征向量的转化（例如wide&deep，DIN等模型）

• 作为预训练的Embedding特征向量，与其他特征向量连接后一同输入深度学习网络进行训练，比如FNN模型；

• 通过计算用户和物品的Embedding相似度，Embedding可以直接作为推荐系统或计算广告系统的召回层或者召回方法之一（比如Youtube推荐模型）

• 通过计算用户和物品的Embedding，将其作为实时特征输入到推荐或者搜索模型中（比如Airbnb的embedding应用）