DIN模型和SIM模型原理与实践

最新推荐文章于 2024-05-23 22:59:48 发布
最新推荐文章于 2024-05-23 22:59:48 发布
阅读量504 收藏 2
点赞数
文章标签： 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41502322/article/details/133889397
版权

文章目录

1.DIN模型

原理

  • 计算用户Last N向量的加权平均
  • 权重是候选物品与Last N物品的相似度

在这里插入图片描述

缺点

  • 注意力层的计算量正比于n（用户行为序列的长度）
  • 只能记录最近的几百个物品，否则计算量太大
  • 只关心短期兴趣，会遗忘长期兴趣

2.SIM模型

对长期兴趣建模

原理

  • 对用户长期行为记录，n大小可以是几千
  • 对于每个候选物品，在用户Last N记录中快速查找，找到k个相似物品
  • 把Last N变成TopK，然后输入注意力层
  • 计算量从n降到k

算法步骤

1.查找

在这里插入图片描述

2.注意力机制

对比DIN，user侧的LastN交互记录被换成了上一步查找到的TopK交互记录。
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

参考文献

王树森推荐系统公开课-SIM模型
SIM论文
DIN论文

HelloNettt
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
推荐领域常见的dnn模型框架结构
01-07
din din中文名深度兴趣网络，由阿里提出并使用到工业上。din主要解决的问题是multi-hot特征的处理方式。传统的multi-hot特征的处理方式大多都是对多个id embedding求均值作为该multi-hot特征最终对输入。din的思想是根据待预估的对象对multi-hot特征的id embedding进行加权计算均值。以我们在广告上的尝试作为例子对din的网络结构进行介绍。首先我们是预估用户对每个广告（ideaid）的点击率。因此模型在传统的结构前multi-hot特征会过一个新的fc网络，输入是multi-hot的tf.concat([multi-hot id, ideaid
17 - Tensorflow 实现 推荐Din模型
01-24
这段代码实现了一个基于注意力机制的推荐模型，具体来说，它是一个DIN（Deep Interest Network）模型。以下是代码的简要介绍： 1. **数据准备部分**： - 生成了包含10000个用户和10个商品的随机用户行为数据。 - 将数据分为训练集（80%）和测试集（20%）。 2. **模型构建部分**： - 使用TensorFlow和Keras构建了一个DIN模型。 - 模型包括用户ID、商品ID和历史行为（这里设定长度为10）的输入。 - 使用Embedding层对用户和商品进行嵌入。 - 引入了DIN的注意力机制，通过对历史行为、用户嵌入和商品嵌入进行拼接和全连接操作来计算注意力权重。 - 输出层使用sigmoid激活函数进行二分类预测。 3. **模型训练部分**： - 使用训练集进行模型训练，随机生成标签用于训练。 - 使用Adam优化器和二分类交叉熵损失函数进行模型编译和训练。 4. **模型评估部分**： - 使用测试集评估模型性能，同样随机生成测试标签用于评估。 5. **点击率预测部分*
CTR预估模型原文汇总
12-08
CTR预估相关模型原文汇总，其中包括DeepFM、AFM、DIN、DIEN、FM、FFM、FNN、NFM、Wide&Deep;、PNN等模型。
CTR:CTR模型代码和学习笔记总结
03-21
CTR学习笔记 运行：python main.py --model DeepFM-步进火车-数据集普查--clear_model 1 要求：张量流1.15 已完成模型列表[支持数据集] FM [普查] 实况调查团[人口普查] 嵌入+ MLP [普查] 广泛[深度] FNN [普查] PNN [普查] DeepFM [普查和调查] 原子力显微镜[人口普查和frappe] NFM [普查和调查] 深交[人口普查] 深入与交叉[普查与调查] xDeepFM [人口普查和frappe] FiBiNET [人口普查和frappe] DIN [亚马逊] 数据集当前支持人口普查，frappe数据集，详情见数据目录，训练参数和预处理与数据集绑定 参考论文列表 [GBDT + LR]预测Facebook广告点击的实用经验 [FM] S. Rendle，分解机 [FM模型]使用分解机的快速上下
工业界真实的推荐系统(小红书)-用户行为序列建模：LastN、DIN、SIM
qq_17065591的博客
03-14 427
王树森老师的硬核课程，由于PPT很多，并且老师的很多经验是口述，没有写在PPT里，网上有一些网友的笔记，但不是很完整，学习起来也比较费事，所以我自己整理了120页的PPT（这里放的是截图），期望能比较完整地把老师的经验呈现出来，同时缩短学习时间。课程特点：系统、清晰、实用，原理和落地经验兼具。
推荐系统｜行为序列_用户行为序列建模、Din模型和SIM模型
Fangyechy的博客
02-12 497
由于序列过大会造成运算次数的增加，而固执地采用后N个则会无法保持长期兴趣的数据，所以可以在保证序列长度固定的前提下，对N个挑选出来的对象进行操作。物品ID通过Embedding将会得到一个向量，性质差不多的向量在空间中也会处于差不多的位置，可以用取平均方式得到一个综合所有向量的向量。而这个所占的重量/占比，是需要和要查询的候选向量进行比较来得出，也就是所谓的相似度，相似度越大，受其影响也会越大。所谓的LastN是一种普通版本的平均，他考虑到了每一个物品，但并未考虑到每一个物品所占的重量。
SIM：基于搜索的用户兴趣建模
Jony0917的专栏
02-12 1784
简介 点击率估计在推荐系统和广告系统中起着至关重要的作用。随着用户行为数据的快速增长，用户兴趣模型被广泛的应用与推荐系统。用户兴趣模型专注于学习用户兴趣的意图表示。受计算和存储资源的限制，大部分的兴趣模型只能利用用户少量近期的历史行为数据，数量在几百个左右。然而有证据已经证明利用更多的历史行为数据是具有巨大价值的。比如淘宝23%的用户在5个月内点击的物品超过了1000。实际可行的利用用户长期行为序列数据的方案是目前开放和热门的研究主题。 很多研究工作借鉴NLP领域的思想，提出采用记忆网络建模用户长期行为序列
深度学习 - 48.SIM Search-based Interest Model 搜索兴趣网络
BITDDD小栈
05-16 749
Alibaba 序列模型 SIM Search-based Interest Model 搜索兴趣网络论文注解。
推荐系统之DIN模型（注意力机制对业务的理解）
qq_38375203的博客
07-04 1314
前面讲过了AFM，AFM是对注意力机制的一个浅显的尝试，并没有基于业务上进行设计的一个模型。在工业领域例如在线广告上点击率（Click-through rate，CTR）预测是一个很重要的任务。在每次点击费用（cost-per-click，CPC）的广告系统中，广告按有效价格，即每千个有效成本（effective cost per mille，eCPM）排名，该价格是出价与CTR的乘积，而点击率则需要通过系统预估。因此，CTR预估模型的效果直接影响最终收益，并在广告系统中发挥关键作用。DIN是2018年阿里
精排模型-从MLP到行为序列：DIN、DIEN、MIMN、SIM、DSIN
热门推荐
Paper weekly
05-30 1万+
©作者 | Glenn单位 | 腾讯研究方向 | 数据挖掘、计算广告背景如下图 [1][2]，阿里妈妈的精排模型，经历了从传统 LR、MLR 到深度模型 GwEN，再到用户兴趣建模的过程。传统的深度模型（如GwEN），一般采用 Embedding&MLP 的形式，它会将用户的所有兴趣信息转化为一个定长的向量。但用户的兴趣是多样的，定长的向量可能不足以表达。而且评估...
深度学习 --- stanford cs231 编程作业(如何在chrome中安装Google colab）
最新发布
松下J27录放机
05-23 945
本文是针对所有正在学习和打算学习stanford cs231n课程的同学在写编程作业之前，就如何在chrome中安装colab的非常基础和简单的介绍。
深度学习：手撕 RNN（2）-RNN 的常见模型架构
三翼鸟数字化平台的技术实践分享
05-23 761
双向 RNN 和 DeepRNN 的原理，以及一些应用更加灵活和广泛的架构
深度学习放射学特征可以预测早期乳腺癌中腋窝淋巴结的情况 | 文献速递-深度学习结合影像组学
weixin_38594676的博客
05-20 470
（b）具备临床数据；（c）接受了乳腺手术和具有治愈意图的哨兵淋巴结活检或腋窝淋巴结切除的患者。根据SLND或ALN切除的结果，337例患者腋窝无病变（N0），150例患者腋窝疾病的转移负荷较低（N+(1-2)），97例患者腋窝疾病的转移负荷较重（N+(≥3)）。图3 不同模型预测腋窝疾病的低转移负荷（N+(1–2)）和重转移负荷（N+(≥3)）的受试者工作特征曲线（ROC曲线）比较。图4 预测疾病自由腋窝（N0）、腋窝疾病的低转移负荷（N+(1–2)）和腋窝疾病的重转移负荷（N+(≥3)）之间的混淆矩阵。
5.23.1 深度学习在乳腺癌成像中的应用
qq_47896523的博客
05-23 1099
通常，乳房成像是使用数字乳房X线摄影（DM）、数字乳房断层合成（DBT）、超声（US）、磁共振成像（MRI）或上述的组合来进行。在 DM 中，X 射线穿过乳房并由数字 X 射线探测器收集，创建乳房的二维 (2D) 图像。然而，它存在组织叠加的问题。特别是在致密乳房（纤维腺体组织密度较高的乳房）中，纤维腺体组织掩盖病变的机会很高。在 DBT 中，从稍微不同的位置进行多次 X 射线扫描，从而产生与 DM 相比叠加效应减少的（部分）断层扫描图像。DBT 的一个缺点是其解释更加困难，导致阅读时间增加。
【深度学习】多层感知器MLP模型对 MNIST 数据集中的手写数字进行分类
mucheng771的博客
05-23 437
变量，用于累计所有批次的损失之和，这里的train_loss是所有批次的损失之和，所以计算全部样本的平均损失时需要除以总批次数，correct是预测正确的样本总数，计算整个epoch总体正确率，需要除以样本总数量。，本质上就是对全部输入加权求和，它要求输入数据集的形状为一维的，如果使用批量运算，则增加一个batch维，也就是需要输入数据是二维的形状，第一维是batch维，第二维是数据特征，即(batch_size,feature_length)形式。最后输出 “Done!，以及模型和优化器的初始化。
区间预测 | Matlab实现CNN-KDE卷积神经网络结合核密度估计多置信区间多变量回归区间预测
关注并私信文章链接，获取对应文章源码和数据，机器学习之心的博客。
05-20 424
区间预测 | Matlab实现CNN-KDE卷积神经网络结合核密度估计多置信区间多变量回归区间预测
番外篇 | YOLOv5更换主干网络之Conformer：首个CNN + Transformer的backbone模型
突然好想你
05-23 161
Transformer和CNN在处理视觉表征方面都有着各自的优势以及一些不可避免的问题。因此，国科大、鹏城实验室和华为研究人员首次将二者进行了融合并提出全新的Conformer模型，其可以在不显著增加计算量的前提下显著提升了基网表征能力。论文已被ICCV 2021接收。🌈
iso15118和din70121
04-29
ISO 15118是一项国际标准，用于电动汽车与充电基础设施之间的通信协议。这个标准定义了在充电基础设施和车辆之间进行安全和实时通信所需的信息交换方式和通信协议。这种通信方式使得电动汽车能够智能地控制充电状态和速度，并能够获得更精确和可靠的充电数据。 DIN 70121是另一项德国国家标准，也是用于电动汽车与充电基础设施之间的通信协议。相比于ISO 15118，DIN 70121更注重数据的隐私和保护。这项标准不仅规定了通信协议，还为数据保护和安全安排了特殊措施，以确保用户的隐私不被泄漏。 两项标准都旨在促进电动汽车市场的发展，并简化电动汽车和充电基础设施之间的交互，提高充电效率和可靠性。ISO 15118和DIN 70121的实施将为电动汽车的普及和使用带来更好的体验和更高的安全性。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值