DSSM召回原理与优化

已于 2022-08-10 14:32:25 修改
阅读量1.5k 收藏 9
点赞数 4
文章标签： python 深度学习 人工智能 神经网络 算法
于 2022-07-26 23:22:14 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_39285712/article/details/126004822
版权

文章目录

一、什么是DSSM召回

DSSM又称双塔召回， 起源自微软的搜索算法文章，现在是推广搜算法最通用的向量召回算法之一。
作为深度学习算法之一， 它将将用户侧和物料侧特征组成的稀疏向量通过层层深度网络压缩到低维向量，并通过余弦相似度来计算两个语义向量的距离，最终训练出代表用户和物料在高维空间语义相似度模型。
上线预测时利用训练完的用户向量ANN检索物料向量返回TopK近似物料。

在这里插入图片描述

二、为什么我们需要双塔召回

  • 传统召回如协同过滤，swing需要多用户和物料共现，对低频用户覆盖度很低。
  • 基于规则的召回大多基于用户的个别强特征，缺少其他各类强弱特征和他们的深度交叉。

使用DSSM深度召回模型基于用户物料特征分别进行深度交叉后返回物料， 并且因为是基于特征推理得到的向量，所以一般能覆盖度100%用户。

双塔召回虽然作为U2I向量召回早起典范， 年代比较久远，但是因为其模型简单通用，上线预测快速，所以有很多优化点，因此下面我们从样本，loss，网络结构等阐述它的诸多变种。

三、样本方面优化

石塔西大佬在著名的负样本为王：评Facebook的向量化召回算法 写到排序是特征的艺术而，召回是样本的艺术。

在漏斗形的推荐算法中， 排序大多数情况无疑正样本用真实曝光且互动（或时长点击）， 负样本是真实曝光且无互动。 但是对于召回，如果负样本直接用真实曝光且无互动会造成下面两个问题。

在这里插入图片描述

  • 真实曝光且无互动是经过召回和粗排，算是比较靠谱的样本，没有让召回模型开眼界
  • 训练与预测分布不一致。 训练是排序排在比较前面的样本， 但是召回需要面临海量的物料库

DSSM 原文中的采样方法使用（Q，D+) 来表示一个(Query,Doc)对，其中 D+ 表示这个Doc是被点击过的。 使用D+和四个随机选取没有被点击过的Doc来近似全部文档集合D ，其中{D−(j) ;j=1,…,4}表示负样本

但是业界这个负样本，正样本到底怎么得出来的呢。 业界主要有两种做法， 一种是batch内负采样，一个batch全是用户-物料对正样本， 负样本由用户和batch内其他样本的物料构建。这种方式的好处是实现比较简单，而且效果也比较容易出， 之后说的第二种全局负采样很容易构建成easy negative sample模型难以学到有益信息。而batch内负采样将其他正样本物料作为自己负样本物料可视为hard negative sample。具体实现方式可以看这篇文章batch内负采样

第二种方法是全局负采样，负样本从全局物料库随机采样。因为线上召回时，候选库里大多数的物料是与用户无关的，随机抽样能够很好地模拟这一分布 。但是简单的随机采样并不能带来什么效果，只有增加 hard negative样本才能提高召回效果，接下去介绍业界几家公司是如何做困难样本负采样的。

1， Facebook: Embedding-based Retrieval in Facebook Search

这篇文章是facebook发表在KDD2020上的一篇关于社交网络中的搜索中的embedding 检索问题， 包括了特征、样本、模型、全链路等各种细节知识。
在这里插入图片描述

文中实验论证了使用曝光且无点击的负样本比随机抽样效果差很多，并提出了负采样的几种方式：

  • Online hard negative sampling：在线一般是batch内其他用户的正例当作负例池随机采
    样
    在这里插入图片描述
  • Offine hard negative sampling：在线batch内池子太小了不一定能选出来很好的hard样本，离线则可以从全量候选里选。 在此基础上， 拿上一版召回模型排在第100到500位置的item作为负样本的hard sampling。因为前100可能是正例， 而500之后算easy sample了
  • Hard positive sampling: 有一部分没有点击但通过分析日志也可以算为正样本

2， Airbnb: Real-time Personalization using Embeddings for Search Ranking at Airbnb

这篇文章是Airbnb关于搜索的session数据来生成房源和用户embedding并应用的文章，embedding学习过程将搜索session中数据看作类似序列信息，并通过类似word2vec的方式学习出每个房源id的embedding值。
在这里插入图片描述

  • 负样本也是从语料库（所有房源的集合中）随机选取一个房源作为负样本, 但不是完全随机的
  • 增加“与正样本同城的房间”作为负样本，增强了正负样本在地域上的相似性
  • 增加“被房主拒绝”作为负样本，由于房东可以拒绝消费者入住，因此，为了减少预定拒绝率，把房东的拒绝也考虑到负样本中， 这也增强了正负样本在“匹配用户兴趣爱好”上的相似性, 加大了模型的学习难度

3， Baidu: MOBIUS: Towards the Next Generation of Query-Ad Matching in Baidu’s Sponsored Search

  • 百度凤巢一篇广告推荐相关的论文，本文提出了一种新的架构来统一之前召回和rank分开的架构。
  • 将召回和排序合并为一个系统，避免传统漏斗形推荐系统中召回和排序优化目标不一致，需要协同的问题
  • 但是合并到一起后，面临长尾问题，模型容易预估出高ctr但相关性很差的结果

在这里插入图片描述

  • 较早提出hard negative sampling的概念
  • 用已经训练好的相关性模型对每一个生成数据对进行相关性预测，同时设定一个阈值，将小于阈值的数据对取出，送给点击模型预测CTR ，就得到了低相关性但是高ctr 作为hard negative sample
  • 与Facebook那篇同理 取 100-500 位召回结果 异曲同工

4， Google:Mixed Negative Sampling for Learning Two-tower Neural Networks in Recommendations

  • 谷歌的文章提出了混合负采样Mix Negative Sampling方法（MNS）方法：batch内负采样+物料池中全局均匀采样。 batch内负采样贴合物品出现频率的采样，节省了计算资源但是存在偏差问题，负样本不包含长尾中item；因此引入了物料池中均匀采样，一方面解决冷启动问题，一方面引入全局分布避免batch size太小导致的分布剧变。
  • 测试了不同的training batch size和 全局均匀负采样size 给出了一个不错的组合方式

5， 58 同城:向量化召回上的深度学习实践

  • 文中提出可以从负样本中筛选同城帖子为困难负样本。
  • 因此同样可以在负样本中筛选同兴趣标签的为困难负样本。

6， 闲鱼搜索召回升级：向量召回&个性化召回

文中提出构建负样本的多种方式:

  • Baseline随机构造负样本：为增加随机性，该部分实现可在训练时使用同Batch中其他样本做负样本，同时也可以引入经典的Batch Level Hard Sample机制。
  • 同父类目的邻居子类目负采样。
  • 高曝光低点击类目样本：同一个Query搜索下，根据全局点击商品的类目分布，取相对超低频类目样本作为负样本。
  • 充足曝光情况下，低于相应Query平均曝光点击率一定百分比的样本做负样本。
  • 基于Query核心Term替换构造负样本：如，对于“品牌A+品类”结构的Query，使用“品牌B+品类”结构的Query做其负样本。

除了上述论文，还有不少优秀的文章阐述了召回负样本生成的工作
链接1: 推荐系统之—正负样本构造trick_Ricky-程序员宅基地_推荐系统负采样
链接2: 召回和粗排负样本构造问题
链接3: 召回模型中的负样本构造
链接4: 推荐系统正负样本的划分和采样，如何做更合理？
链接5: 推荐系统论文阅读（三十三)-百度：谈谈召回任务中负样本的选取优化
链接6: 召回负样本选取梳理
链接7: 双塔召回模型的前世今生（上篇）
链接8: 负样本为王：评Facebook的向量化召回算法
链接9: 借Youtube论文，谈谈双塔模型的八大精髓问题

7， 实际效果

我司在场景中实测batch内负采样较方法全局采样个性化效果提升明显。 因为后者很容易构建成easy negative sample模型难以学到有益信息。而前者将其他正样本物料作为自己负样本物料可视为hard negative sample。

四、 热度打压

1， 相关理论

热度打压同样是在处理召回正负样本的时候常规操作，在大多数推荐系统里少数热门物料占据了绝大多数的曝光与点击。 这样一来，正样本被少数热门物料所绑架，导致所有人的召回结果都集中于少数热门物料，完全失去了个性化。因此：

  • 热门物料做正样本时， 需要降采样，减少对正样本集的绑架。
    某物料成为正样本的概率为
    在这里插入图片描述
    其中 z(w)是第i个物料的曝光或点击占比
  • 热门物料做负样本时， 需要适当过采样， 抵销热门物料对正样本集的绑架；同时，也要保证冷门物料在负样本集中有出现的机会。
    某物料成为负样本的概率
    在这里插入图片描述
    其中n(w)是第i个物料的出现次数，而 α一般取0.75。

之前提过的样本链接中也有对于热门打压相关的描述：
链接1: 负样本为王：评Facebook的向量化召回算法
链接2: 推荐系统论文阅读（三十三)-百度：谈谈召回任务中负样本的选取优化 。此文中对样本根据一定曝光频率来采集，本身也是热度打压的一种。

2， 实际效果

在我司场景中，实测不对正样本热度打压时， 召回返回基本时全是全站Topk高热物料，缺乏个性化。加入打压后，个性化明显。

五、Loss优化

首先， 有一篇我觉得非常好的文章 【辩难】DSSM 损失函数是 Pointwise Loss 吗？很清晰的阐述了DSSM loss的本质, 属于pairwise+ loss的一种。相比纯粹的pairwise loss， 它计算单个 loss 时会用到多个负样本。

1， pointwise loss

在我们的开发历程中， 因为排序的惯性思维并且追求快速上线，一开始使用pointwise loss的形式， 仅从单条用户-物料样本的分类角度来计算，没有考虑同一用户对不同物料的相对顺序。 比如我使用了评估binary cross entropy ， 它评估了单个样本真实标签的预测准确度，总误差既包括正样本带来的误差，也包括负样本带来的误差。但是结果是效果很差， 召回基本没有个性化。

2， DSSM 原生loss

看了上面那篇文章后， 使用DSSM原生的pairwise+ loss, 使用batch内负采样，给每一个正样本用户-正样本物料配上4个负样本物料在这里插入图片描述。 然后Softmax计算正样本概率在这里插入图片描述
随后只基于正样本用极大似然估计得到 DSSM 的损失函数为：在这里插入图片描述
代码实验如这个链接 batch内负采样。 最终实验结果是远远优于binary cross entropy loss的

相关代码实现如下

user_emb,item_emb,neg_sampling = inputs
user_emb = tf.nn.l2_normalize(user_emb,-1)
item_emb = tf.nn.l2_normalize(item_emb,-1)
x = tf.keras.layers.dot([user_emb,item_emb],axes=-1)
NEG = 4
batchSize = 1024
item_y = item_emb
item_y_temp = item_emb
user_y = user_emb
#temperature = 0.1
for i in range(NEG):
    rand = int((random.random() + i) * batchSize / NEG)
    item_y = tf.concat([item_y,tf.slice(item_y_temp, [rand, 0], [batchSize - rand, -1]),tf.slice(item_y_temp, [0, 0], [rand, -1])], 0)
prod_raw = tf.reduce_sum(tf.multiply(tf.tile(user_y, [NEG + 1, 1]), item_y), 1, True)
prod = tf.transpose(tf.reshape(tf.transpose(prod_raw), [NEG + 1, batchSize]))
# prod = tf.transpose(tf.reshape(tf.transpose(prod_raw), [NEG + 1, batchSize])) / temperature
# 转化为softmax概率矩阵。
prob = tf.nn.softmax(prod)
# 只取第一列，即正样本列概率。
hit_prob = tf.slice(prob, [0, 0], [-1, 1])
x = hit_prob
return x

model.compile(optimizer=opt.optimizer, loss="binary_crossentropy")

3， Infocse loss和Triplet loss

除了DSSM原生loss不少博客下面推荐 Infocse loss和Triplet loss这种纯pairwise loss，因为对于召回来说这种loss很适合尽可能拉近用户和正样本物料在高维空间的距离而拉远用户与负样本物料的距离， 而且他们关注困难负样本和困难负样本配合起来用会更好。
InfoNCE Loss
在这里插入图片描述

我个人理解下来就是DSSM原生loss加上一个温度系数， 会给和正样本相似度更高的负样本比较高的惩罚，我们 实验了多种温度系数没有明显的效果.

Triplet loss
Triplet loss可分为三类， easy triplets， hard triplets和semi-hard triplets
具体可以看链接中的原理知识
在这里插入图片描述在这里插入图片描述

具体实验中， 这个loss中有margin需要设置，负样本越偏向困难负样本越需要设置大一点。具体实验中尝试了triplet loss， 指标提升了一些但是不是很明显，可能其中参数margin值需要调参。

闲鱼搜索召回升级：向量召回&个性化召回 提出了triplet loss和online hard negative mining匹配用，即在mini-batch内，每个正样本对之间互为负样本，选择其中最难的样本作为负样本（相似度打分最高的样本对）。

相关代码实现：

user_emb,item_emb,neg_sampling = inputs
user_emb = tf.nn.l2_normalize(user_emb,-1)
item_emb = tf.nn.l2_normalize(item_emb,-1)
NEG = 4
batchSize = 1024
item_y = item_emb
item_y_temp = item_emb
user_y = user_emb
# shape为[batchSize, emb_size]
for i in range(NEG):
    rand = int((random.random() + i) * batchSize / NEG)
    item_tmp = tf.concat([tf.slice(item_y_temp, [rand, 0], [batchSize - rand, -1]),tf.slice(item_y_temp, [0, 0], [rand, -1])], 0)
    item_y = tf.concat([item_y,item_tmp], 1)
x = tf.concat([user_y, item_y],1)
return x


model.compile(optimizer=opt.optimizer, loss=triplet_loss)
def triplet_loss(y_true, y_pred):
    emb_size = 32
    alpha = 1.0
    anchor, positive, negative1, negative2, negative3, negative4 = y_pred[:,:emb_size], y_pred[:,emb_size:2*emb_size], y_pred[:,2*emb_size:3*emb_size], y_pred[:,3*emb_size:4*emb_size], y_pred[:,4*emb_size:5*emb_size], y_pred[:,5*emb_size:]
    positive_dist = tf.reduce_mean(tf.square(anchor - positive), axis=1)
    negative_dist1 = tf.reduce_mean(tf.square(anchor - negative1), axis=1)
    negative_dist2 = tf.reduce_mean(tf.square(anchor - negative2), axis=1)
    negative_dist3 = tf.reduce_mean(tf.square(anchor - negative3), axis=1)
    negative_dist4 = tf.reduce_mean(tf.square(anchor - negative4), axis=1)
    negative_dist = tf.concat([negative_dist1, negative_dist2, negative_dist3, negative_dist4], 0)
    positive_dist_final = tf.tile(positive_dist, [4, ])
    return tf.maximum(positive_dist_final - negative_dist + alpha, 0.)

4， BPR loss

据说BPR loss效果比triplet loss好，而且它没有需要调参的地方。没有ma rain,鼓励用户和正样本物料相对和负样本物料距离拉的越远越好。可以之后尝试一下。
在这里插入图片描述

5， Weighted Hinge Loss

在模型化召回在陌陌社交推荐的应用和探索
中提到Weighted-Hinge-Loss，更适合ANN检索，可以一试。

其他相关链接：

链接1: 排序主要的三种损失函数（pointwise、pairwise、listwise）

链接2: 【推荐】pairwise、pointwise 、 listwise算法是什么?怎么理解？主要区别是什么？

链接3: 负样本为王：评Facebook的向量化召回算法

六、网络结构优化

DSSM 是召回的经典模型虽然比较简单古老但正因为简单所以上线方便快捷，因此有很多改进空间。

1， SENet

其中第一个是张俊林老师提出的将SENet运用在 双塔模型， 具体可以参考文章SENet双塔模型：在推荐领域召回粗排的应用及其它
在这里插入图片描述

众所周知，DSSM双塔的优势就是用户侧和物料侧特征解藕，两个塔分别输出一个向量， 然后线上用Faiss这种工具做实时ANN检索， 对召回面向海量物料需要预测的情况下能够有毫秒级别反馈。

但是这种优点也是缺点， 用户特征和物料特征分别经过层层DNN压缩成低维向量，最后才在Cos层交叉， 相比排序模型或者FM召回 用户侧特征和物料侧特征在浅层网络就进行交叉相比显得为时已晚而且丢失了很多信息再交叉。

而SENet换了种思维解决这一问题， 对User侧和Item侧的特征，动态学习特征权重，强化那些重要特征，弱化甚至清除掉不重要的特征。 这样就算只在最后一层交叉， 也尽可能让重要信息进行交叉。

SENet原文里面，对每个特征embedding压缩是使用CNN的二维卷积核进行Max操作， 而张俊林老师的知乎里面是使用平均迟化。 而我这里是使用一个MLP网络把原来32维的向量映射8再到1，作为乘到原始向量上的权重值。
代码实现如下：

    # SE-BLOCK
    user_profile_emb_reshape = tf.reshape(user_profile_emb,(-1, user_feature_len, embedding_size), name='user_profile_emb_reshape') # （？，1152)->（？，36, 32)
    item_profile_emb_reshape = tf.reshape(item_profile_emb,(-1, item_feature_len, embedding_size), name='item_profile_emb_reshape') # （？，2880)->（？，90, 32)
    

    user_profile_emb_excitation = Dense(embedding_size//4, activation='sigmoid', use_bias=False, name='user_profile_emb_excitation_0')(user_profile_emb_reshape) # (？，36, 32) ->（？，36, 8)
    item_profile_emb_excitation = Dense(embedding_size//4, activation='sigmoid', use_bias=False, name='item_profile_emb_excitation_0')(item_profile_emb_reshape) # （？，90, 32) ->（？，36, 8)
    user_profile_emb_excitation = Dense(1, activation='sigmoid', use_bias=False, name='user_profile_emb_excitation_1')(user_profile_emb_excitation) # (？，36, 8) ->（？，36, 1)
    item_profile_emb_excitation = Dense(1, activation='sigmoid', use_bias=False, name='item_profile_emb_excitation_1')(item_profile_emb_excitation) # （？，90, 8) ->（？，36, 1)

    user_profile_emb_senet = multiply([user_profile_emb_reshape,user_profile_emb_excitation], name='user_profile_emb_senet') # (？，36, 32) ->（？，36, 32)
    item_profile_emb_senet = multiply([item_profile_emb_reshape,item_profile_emb_excitation], name='item_profile_emb_senet') # (？，90, 32) ->（？，90, 32)

    user_profile_emb_senet_final = tf.reshape(user_profile_emb_senet, (-1, user_feature_len*embedding_size), name='user_profile_emb_senet_final') # (？，36, 32) ->（？，1152)
    item_profile_emb_senet_final = tf.reshape(item_profile_emb_senet, (-1, item_feature_len*embedding_size), name='item_profile_emb_senet_final') #(？，90, 32) ->（？，2880)

2， 多任务学习

曾经做排序的时候做过一段时间多任务学习MMOE，PLE等， 多任务学习主要解决的任务第一是满足业务上的同时多个指标， 第二就是解决某个任务数据稀疏的问题，用一个辅助任务去帮助主要任务去训练（比如点击正样本比较多帮助互动正样本少的任务训练）

召回也有多任务学习， 在这边还没有具体尝试，先放上链接和图片。

QQ浏览器：小说召回中的DSSM模型优化实践 https://www.sohu.com/a/447529493_187948

在这里插入图片描述

3， Dynamic Weight & Debias

现实业务中有一些重要的特征，比如用户活跃度，物料出现在列表里的位置，可以像阿里position bias的想法一样， 把这些强特征单独经过一个网络（通过一个LR或一层fully connection）和和主DNN最后的输出再拼接起来。 在排序中是将这两部分的logits 加和在一起，召回双塔模型中我认为可以组成两部分向量后concentrate在一起。

在这里插入图片描述

另一种更高级的做法，就是石塔西前辈提到的动态权重 动态权重：推荐算法的新范式
。 将强特征输出后的向量reshape成一个三层网络Dynamic Weighted Network(DWN)后拼接在双塔DNN上，这种方式我觉得对于DSSM更合适，值得一试。
在这里插入图片描述

相关链接：
链接1: 动态权重：推荐算法的新范式

链接2: 初来乍到：帮助新用户冷启的算法技巧

链接3: 推荐系统中的debias算法

4， 对比学习

对比学习是这几年比较火热的点， 也可以运用在双塔上。 但是这其中的难点在于辅助任务构建data augumentation上。具体可以看石塔西和张俊林两位前辈的文章。目前还没来得及在业务上尝试。
在这里插入图片描述

链接1: 对比学习视角:重新审视推荐系统的召回粗排模型

链接2: 少数派报告：谈推荐场景下的对比学习

七、其他优化点

其他优化方式还有很多就不一一展开了，其中特征常规操作可以加上用户序列类特征，博主/up主id特征， 用户id，物料id。

另外就是改变label是影响线上效果最直接的方式，比如你的目标是提升DAU，UV，可以尝试互动， 点击，时长的各种组合。而且， 对label设定进行reweight其实也是改变训练样本分布的一种， 这里有很多文章可以参考。这里给出蘑菇街的一篇文章蘑菇街首页推荐多目标优化之reweight实践：一把双刃剑？

八、离线评估方式

评估的方式最好的肯定是ab线上评估，不过受制于流量有限或者其他因素，线上评估是比较慢的。

排序的离线评估无疑首选是AUC，但是对于召回来说不一定， 实际上好的召回可能auc低一些，但是会召回出更符合真实分布的内容，实际工作中auc当作参考就好。

最适合的还是模拟召回这一过程， 拿Faiss召回后的TopK结果与用户实际点击做交集并计算precision/recall， 我在实际运用中计算得到召回率和命中率，其中召回率是有多少用户点击物料实际被TopK召回了， 比如用户日志里点击了5条物料，有3条出现在Faiss召回TopK中那么召回率便为0.6。 另外， 假如5条全中那么命中率就为1。 最后求所有用户平均值。

当然对于召回来说还有用肉眼去观察效果。

链接1: 召回模型中的负样本构造
链接2: 「召回层」如何评估召回效果?

实验效果

其他相关链接

1， 推荐粗排（召回）工程实践之双塔DNN模型
https://mp.weixin.qq.com/s/w-J_hz1Qf3Y-Kc8ywx9kUg

2， 干货篇 | 58 同城：向量化召回上的深度学习实践
https://www.6aiq.com/article/1618011600160
负采样筛选同城的帖子为负样本， 同样可以筛选同兴趣标签的为负样本。
用户点击标签的标签embedding lookup table和 标签embedding lookup table可以share，但应该实验可能不在一个空间

3, 小米收音机如何提高内容分发效率？DSSM召回模型做到了！
https://mp.weixin.qq.com/s/bDIrbA7GmLxgPFYzA1uijg

4, 【推荐系统】DSSM双塔召回
https://blog.csdn.net/weixin_31866177/article/details/115941316
序列特征attention

5， 借Youtube论文，谈谈双塔模型的八大精髓问题
https://zhuanlan.zhihu.com/p/369152684

6, 双塔召回模型的前世今生（上篇）
https://zhuanlan.zhihu.com/p/430503952

7,双塔召回模型的前世今生（下篇）
https://zhuanlan.zhihu.com/p/441597009

8,模型化召回在陌陌社交推荐的应用和探索
https://mp.weixin.qq.com/s/tZOcfz9u3c_Z8SU1EhTDUg
weighted-hinge-loss

9, QQ音乐推荐召回算法的探索与实践
https://mp.weixin.qq.com/s/I2ZOsh63-ApXDgK5hbQ1yQ
10, 闲鱼搜索召回升级：向量召回&个性化召回
https://mp.weixin.qq.com/s/bXGWnXiIOYYFaXbghZNKUA

tf.Print(**)
关注
  • 4
    点赞
  • 踩
  • 9
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
SENet双塔模型：在推荐领域召回粗排的应用及其它
wenyusuran的专栏
06-08 1591
前言 目前，双塔结构在推荐领域里已经是个常规方法了，在召回和粗排环节的模型选型中，被广泛采用。其实，不仅仅是在推荐领域，在其它领域，双塔结构也已经被越来越多得用起来了。比如，在当代搜索引擎的召回环节，除了常见的经典倒排索引来对Query和Document进行文本字面匹配外，经常也会增加一路基于Bert模型的双塔结构，将用户查询Query和搜索文档，各自通过一个塔形结构来打Embedding，以此增加Query和Document的深层语义匹配能力；再比如，在自然语言处理的QA领域，一般也会在第一步召回环节，
DSSM-Lookalike
03-20
类似DSSM的管道 论文的实施： 一个基于DSSM的外观类似矢量化召回管道简单实现，包括以下部分： 数据获取：正在使用比赛中的训练数据（100000条）（帮助，uid，标签）。 三种数据负采样方法：<1>随机负采样。<2>根据出现频次负采样。<3> RALM采样方法，参考 DSSM实现，​​与原论文在损耗计算方式上略有不同。 输出用户嵌入和项目嵌入。 大规模完整的复现了工业界常用的基于DSSM的向量化召回管道。 网络模块建造参考 代码： ： 作者：沉伟臣 环境配置 python 3.6.5 张量流== 1.14.0 大熊猫 代码运行示例： python examples/run_dssm_neg_sample.py
【推荐算法系列十八】：DSSM 召回算法
最新发布
RessCris的博客
02-27 851
参考DSSM 和 YouTubeDNN 都是比较经典的 U2I 模型。
数据与广告系列三十五：召回，没有什么是一个双塔解决不了的，如果有，那就多来几个
数据虫巢
01-03 909
作者·黄崇远『数据虫巢』全文19476字题图ssyer.com“广告推荐的召回，没有什么是一个双塔解决不了的，如果有，那就多来几个。当然，这是戏说，但对于召回技术来说，确实是崛起于双塔，或者说双塔技术为推荐广告的召回提供了更广阔的想象空间，但实际上召回发展的路上，却不止于双塔。”如题引，我们今天的主题包含了两层，业务视角是召回，技术视角是双塔技术的演化，而逻辑的推进是两者的有机结合，最终我们会沿...
双塔召回模型的前世今生
han_liwei的博客
04-16 312
因为在双塔结构下，无论对于userA还是userB而言，面对的item embedding都不会有区别，所以可以离线对所有的物料提前过item tower得到item embedding，当userA来时，只需要计算userA embedding即可，由此双塔的第一个好处便浮出水面：无需每次请求重复计算，节省了一大批算力资源。让我们重新回顾一下问题。自此，归一化解释清楚：双塔召回需要ANN，点积不保序一般使用欧式距离，双塔最上层归一化能将输入映射到欧式空间，保证了训练检索的一致性，提高了效果。
【PyTorch基础教程30】DSSM双塔模型（线上召回 | 模型更新）
发现问题，并解决问题，批判性思维
06-22 2180
召回中，一般的训练方式分为三种：point-wise、pair-wise、list-wise。用参数`mode`来指定训练方式，每一种不同的训练方式也对应不同的Loss。 对应的三种训练方式可以参考下图（3种），其召回中，一般的训练方式分为三种：point-wise、pair-wise、list-wise。在datawhale的RecHub中，用参数`mode`来指定训练方式，每一种不同的训练方式也对应不同的Loss。.................................
推荐系统（九）SENet 双塔模型在推荐领域召回粗排的应用
Jin_Kwok的博客
07-21 762
在推荐领域，双塔模型是粗排/召回环节应用最为广泛的算法模型，各种改进型双塔模型层出不穷，本文介绍一种基于 SENet 的双塔模型。
张俊林：从对比学习视角，重新审视推荐系统的召回粗排模型
Kaiyuan_sjtu的博客
10-27 1797
分享嘉宾：张俊林博士新浪微博编辑整理：王岩 开课吧出品平台：DataFunTalk导读：今天分享的主题是从对比学习的视角，即从一个不同的角度来看看推荐系统里面的召回和粗排模型。对比学习从...
DSSM图书推荐实现.zip
07-08
本科毕业设计基于深度学习的图书推荐系统
DSSM-with-Paddle:使用PaddlePaddle的DSSM实现
05-08
DSSM带桨 细节 使用PaddlePaddle的DSSM实现。 它使用用户搜索查询和带有标签1的单击标题以及带有标签0的未单击/无关标题来预测用户搜索查询和广告标题之间的相关性。 train_cluster_old.py 以csv格式读取输入内容：...
paddledssm:带桨的dssm代码
05-14
划桨 带桨的dssm代码
通过DSSM算法进行商品推荐.zip
11-19
通过DSSM算法进行商品推荐.zip
召回模型：DSSM双塔模型
Celeste小天地
06-06 1368
双塔召回模型
推荐系统实战4——EasyRec 搭建DSSM召回模型实现CTR点击平台
Bubbliiiing的学习小课堂
12-12 3567
一般的推荐系统至少需要两步来完成，基本流程为召回=>排序，当然大型的推荐系统远远不止于此。召回是其中的第一步，目的是最大程度的筛选出user可能感兴趣的item。
【辩难】DSSM 损失函数是 Pointwise Loss 吗？
bealing的博客
11-30 696
在学习 DSSM 的过程中发现网上有一些人说 DSSM 的损失函数是 Pointwise Loss，也有一些人说 DSSM 的损失函数是 Pairtwise Loss，显然存在矛盾。本人抱着“理不辨不明”的心态，对 DSSM 损失函数进行了调研，得到以下结论：DSSM 损失函数不是 Pointwise Loss，可以认为是 Pairwise Loss 的增强版或者 Listwise Loss 的近似版。
涨点利器：推荐系统中对双塔模型的各种改造升级（上）
Kaiyuan_sjtu的博客
10-18 1559
双塔各种改造方法概览：大型推荐系统通常会将整个推荐链路拆分成召回、粗排、精排和重排等多个模块，以达到推荐效果和计算性能之间的平衡。由于召回模型的候选item通常是海量的全库物品、粗排模型的候选item是上百路召回合并后的物品集，在面临海量候选物品进行粗筛的场景下，双塔结构不仅排序速度快、模型线上效果也不差，且在工业界实战价值很高，因此双塔结构在召回和粗排环节的模型选型中被广泛采用。Microstr...
DSSM双塔模型损失部分详解
cz的博客
12-31 1923
DSSM是把句子映射为向量，利用距离公式来表示文本间的相似度。DSSM在信息检索，文本排序，问答，图片描述，机器翻译等由广泛应用。 网络结构 DSSM模型的整体结构图如图所示，Q代表Query信息，D表示Document信息。 （1）Term Vector：表示文本的Embedding向量； （2）Word Hashing技术：为解决Term Vector太大问题，对bag-of-word向量降维； （3）Multi-layer nonlinear projection：表示深度学习网络的隐层； （4）
双塔模型实践
星辰的博客
04-11 1207
本文是我和双塔模型死磕了6个月之后的心得体会。如前文所述，双塔分离，既是保障线上快速serving、以适应召回+粗排场景的优点，也是不能使用交叉特征与结构、导致两侧信息交叉过晚、制约模型表达能力的最大缺点。user&item两侧信息交叉得太晚，等到最终能够通过dot或cosine交叉的时候，user & item embedding已经高度浓缩，一些细粒度的信息已经在塔中被损耗，永远失去了与对侧信息交叉的机会。为了克服这一缺点，业界同仁设计出许多改进方案。
推荐系统（十一）DSSM双塔模型
更木的博客
03-11 5426
前言 工作上将DSSM baseline模型引入组内推荐系统，这里总结下，方便后续回顾。 原理 原理较为简单，这里不再赘述，主要原理见下图： 损失函数 原始损失函数 首先queryQQQ和docDDD之间的相似度为，其中yQy_QyQ​和yDy_DyD​为query和doc的embedding： R(Q,D)=cos(yQ,yD)=yQTyDT∣∣yQ∣∣∣yD∣∣R(Q,D)=cos(y_Q, y_D)=\frac{y^T_Q y^T_D}{||y_Q|||y_D||}R(Q,D)=cos(yQ​,yD
easyrec dssm
09-18
easyrec是一种在推荐系统中使用的工具，而DSSM（Deep Structured Semantic Model）是一种深度学习模型。所以easyrec DSSM指的是将DSSM模型应用于easyrec推荐系统中。 DSSM模型是一种用于文本匹配和语义相关性计算的深度学习模型。它通过将文本转换为稠密向量表示，然后计算两个向量之间的相似度来衡量文本之间的相似性。这种模型在自然语言处理任务中表现出色，能够应用于搜索引擎、文本推荐等领域。 easyrec是一种开源的推荐系统工具，用于构建个性化推荐系统。它提供了丰富的功能和算法，能够根据用户的喜好和行为，向用户推荐他们可能感兴趣的内容。easyrec支持多种推荐算法，包括基于内容的推荐、协同过滤等。 将DSSM模型应用于easyrec推荐系统中，可以提升推荐的准确性和个性化程度。通过使用DSSM模型计算文本之间的相似度，可以更精确地匹配用户的兴趣和需求，从而推荐更相关的内容给用户。这样的推荐系统能够更好地满足用户的个性化需求，提升用户的使用体验。 总之，easyrec DSSM指的是将DSSM模型应用于easyrec推荐系统中，通过利用DSSM模型的文本匹配和语义相关性计算能力，提升推荐系统的个性化推荐效果。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值