阿里DIN和SIM模型的分享

于 2024-08-14 16:06:59 发布
阅读量171 收藏
点赞数 2
分类专栏： 搜广推进阶之路 文章标签： 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Maggie_JK/article/details/141192592
版权

解决的问题：用户行为序列建模

解决方案：将embedding+sum_pooling的方式换成embedding+加权求和

1.DIN模型

将目标商品最为query,用户行为序列中的商品作为key和value

query和key计算activation weight，然后value再和activation weight相乘，得到新的embedding表示

将用户行为序列中的所有商品embedding相加，得到最后的用户行为embedding

2.SIM模型

解决的问题：用户行为序列很长的时候，DIN模型计算量会巨大，如果粗暴的只选前100作为用户行为序列，会丢掉用户的长期行为兴趣。

解决方案：用户行为序列先筛选一波，再进入模型

阿里的工业实践：

通过商品类目进行筛选，只有和候选广告类目相同的用户行为数据才会被选出送到下一级进行建模

（sooooo简单的一个操作，能让性能提升明显）

Maggieee1023
关注
专栏目录
阿里SIM-基于检索的用户行为兴趣CTR模型（Search-based user Interest Model（SIM））
永远飞翔的鸟
07-29 705
阿里SIM-基于检索的用户行为兴趣CTR模型
【广告推荐】用户行为序列建模（DIN、SIM）
weixin_41888257的博客
03-27 1194
上面 第一步的查找，把lastN物品缩小到 topK，排除掉的物品大概率和候选物品无关（相似度很低），排除之后几乎不会影响加权平均的结果。最终的 emb 是由各个 lastN 向量 加权得到的，权重是 各个lastN物品 & 候选物品的相似度 alpha。DIN 也是对 lastN 行为的一种建模方法，优于上面一节简单对 各个emb取平均。和DIN没有本质区别，主要区别是 lastN 变成了 topK。计算相似度的方法，如 cos、内积。简单平均 & 注意力机制的 区别。DIN 的本质是注意力机制。
阿里 - 淘宝 - 精排模型发展趋势
1066196847的博客
02-12 843
一、DIN网络2018年7月19日 ，提出attention结构用在用户序列特征上，这种attention不是self-attention，而是预估item用来当做query，用户序列中的每个item作为key value 阿里兴趣网络DIN网络中几个关键的点(三)_1066196847的博客-CSDN博客_din网络 二、DIEN网络 2018年 相对于DIN网络有这样改进点，DIN网络只做了用户序列attention这件事，DIEN首先加了一个loss，用gru计算点击序列（长度为T）的T个输.
阿里DIN模型
weixin_45361800的博客
04-28 989
阿里巴巴DIN模型
推荐系统（十一）阿里深度兴趣网络（一）：DIN模型（Deep Interest Network）
热门推荐
天泽28的专栏
02-26 1万+
DIN（Deep Interest Network）模型是阿里妈妈盖坤团队发表在KDD'18上的文章，因为有阿里的光环，因此，这个模型在业界还是比较有名气的，至于最终在其他公司场景下有没有效果，取决于对比的baseline，如果你的baseline足够弱，理论上会有一定效果的提升，当然，如果你的baseline够强，可能一点效果都没有。之前博客介绍的模型都在解决如何有效的学到高阶交叉特征，而DIN的核心思想是把attention机制引入了到用户兴趣建模上。
阿里DIN模型(深度兴趣网络)详解及理解
11-16 9199
这里写目录标题目标：模型产生原因：核心思想：模型介绍：Base model改进模型模型算法设计论文的算法改进参考资料 目标： 掌握2017年阿里提出的深度兴趣网络（Deep Interest Network for Click-Through Rate Prediction）以及后续的DIEN。 本篇介绍DIN 原文： Deep Interest Network for Click-Through Rate Prediction 21 Jun 2017 Deep Interest Evolution Net
[阿里DIN] 深度兴趣网络源码分析 之 整体代码结构
罗西的思考
10-22 1732
Deep Interest Network（DIN）是阿里妈妈精准定向检索及基础算法团队在2017年6月提出的。其针对电子商务领域（e-commerce industry）的CTR预估，重点在于充分利用/挖掘用户历史行为数据中的信息。本文为系列第三篇，将分析DIN源码整体思路。
推荐系统之DIN模型（注意力机制对业务的理解）
qq_38375203的博客
07-04 1471
前面讲过了AFM，AFM是对注意力机制的一个浅显的尝试，并没有基于业务上进行设计的一个模型。在工业领域例如在线广告上点击率（Click-through rate，CTR）预测是一个很重要的任务。在每次点击费用（cost-per-click，CPC）的广告系统中，广告按有效价格，即每千个有效成本（effective cost per mille，eCPM）排名，该价格是出价与CTR的乘积，而点击率则需要通过系统预估。因此，CTR预估模型的效果直接影响最终收益，并在广告系统中发挥关键作用。DIN是2018年阿里
SIM: 阿里定向广告--基于搜索的超长用户行为序列 ctr 模型
liuxiaoran的专栏
09-05 927
最近两年大公司在推荐系统的研究热点，当属是用户行为建模。 阿里在最近三年内不断的升级用户序列的建模方式，从最早只使用了attention 的 Deep Interest Network，到兴趣进化网络 DIEN，再到session 兴趣网络DSIN，一步步的深入挖掘用户行为的兴趣价值。而这些模型也只是利用了用户上百量级的短期行为，用户的浏览序列长度可能达到上千甚至上万个，怎么高效且有效的利用这种长序列信息呢？ SIM提供了 Lifelong 超长行为序列线上服务化的可行性方案。 背景 用户...
AI比赛-推荐系统（一）-新闻推荐05：排序模型【LightGBM模型、DIN模型】
u013250861的博客
02-03 564
通过召回的操作， 我们已经进行了问题规模的缩减， 对于每个用户， 选择出了N篇文章作为了候选集，并基于召回的候选集构建了与用户历史相关的特征，以及用户本身的属性特征，文章本省的属性特征，以及用户与文章之间的特征，下面就是使用机器学习模型来对构造好的特征进行学习，然后对测试集进行预测，得到测试集中的每个候选集用户点击的概率，返回点击概率最大的topk个文章，作为最终的结果。
RS笔记：深度推荐模型之SIM长短期兴趣网络（基于搜索的超长行为序列上的用户长期兴趣建模）[CIKM 2020, 阿里妈妈广告团队]
捡起一束光的博客
09-01 820
数据让电商给用户带来了完全不同的体验，淘宝拥有用户从初入淘宝开始 life-long 的行为数据。通过这些数据，推荐系统可以推测用户的兴趣，给每个用户个性化的体验，给用户展现其可能感兴趣的商品，极大的增加了用户在逛淘宝过程中的信息获取效率。如图一所示，我们引入更丰富的用户数据，对于用户点击行为预估将会更为准确。...
推荐搜索炼丹笔记：SIM 用户行为序列点击率预估模型
炼丹笔记
01-16 1325
作者：十方，公众号：炼丹笔记Search-based User Interest Modeling with Lifelong Sequential Behavior Data for Click-Through Rate Prediction阿里对行为序列的研究可以说已经独领风骚了，前有DIN，后有MIMN，现在又出了这篇SIM。只能说行为序列确实对点击率预估很重要，阿里已经证明，丰富的用户行为...
每周一文（五）阿里DIN模型
更木的博客
04-01 229
契机 对于当前预测的item，用户行为列表中每一个item对最终结果的影响程度不同，引入attention来求出用户行为列表中每个item的权重，并将这些item对应的embedding加权求和得到最终的用户行为embedding向量。 模型核心内容 对于用户行为历史中的每个itemiitem_iitemi​，都与当前预测itempredictitem_{predict}itempredict​进行一次attention交互得到itemiitem_iitemi​的权重wiw_iwi​。上图中attenti
阿里DIN推荐模型简介
u012875855的博客
12-07 625
背景 此模型主要用于排序阶段；在电商系统中，用户的兴趣通常可以由其历史点击的商品来刻画，由于用户的历史点击可能是多样的，用户的兴趣也是多样性的， 如果仅仅将用户历史点击的商品embedding进行pooling作为用户的特征，则可能不能反映用户真实的兴趣，因此一个很直接的想法，为每个历史点击赋予一个权重， 计算加权的pooling，作为用户的特征 模型结构 base model：sum pooling或者mean pooling + MLP DIN:用户历史行为的每个商品embedding
DIN模型和SIM模型原理与实践
qq_41502322的博客
10-17 1117
对比DIN，user侧的。被换成了上一步查找到的。
阿里 DIN (Deep Interest Network for Click-Through Rate Prediction) 论文笔记
qq_43635498的博客
03-18 1606
为了使其足够强大，一个简单的方法是扩大嵌入向量的维数，不幸的是，这将大大增加学习参数的大小。固定长度向量的使用是一个瓶颈，这给embedding和mlp方法从丰富的历史行为中有效捕获用户的不同兴趣带来了困难。的非零值的数量在不同的实例中是不同的，导致相应的嵌入向量列表的长度是可变的。由于全连接网络只能处理固定长度的输入，通常的做法是通过池化层对嵌入向量列表进行变换，得到固定长度的向量。的值在某种程度上被视为用户兴趣强度激活的近似值，同一个用户，有相同行为序列情况下，对于感兴趣的广告，其。
阿里DIN原理
weixin_37817275的博客
08-08 142
DIN提出的背景 在广告推荐中，广告分为很多种类，用户的历史行为中可能有很大一部分和这个candidate的种类毫不相干 DIN原理 为了尽可能关注和当前candidate相关的历史行为，DIN引入attention机制。在每个历史行为商品进入池化层之前，先用一个Activation Unit对其进行激活，及计算并赋予一个权重，用于控制该商品对后续预测的影响。 activation unit activation Unit是通过神经网络来实现的，最终给出一个类似于相似性的值，这个模块会和DIN一起训练。
Alibaba DIN模型介绍
猜丁壳
07-27 330
合上论文想一下，整个论文最主要值得参考的点大概是Attention在排序中的使用。除此之外的疑问和收获就是:每个candidate ad生成一个user embedding然后和itemfeature生成的embedding做一下concat，这种情况下模型计算的复杂度在随着candidate ads个数的增大呈线性增长。例如在召回阶段如何使用Attention的方式来捕获多样兴趣？Filter和Dropout Feature看来也是用来解决细粒度特征带来的噪声数据常用的数据处理方式。
DIN和DIO是什么意思
最新发布
04-20
DIN和DIO是两个常见的缩写词，它们在不同的领域有不同的含义。 1. DIN（Digital Input）：DIN是数字输入的缩写，通常用于描述数字电路或者计算机系统中的输入信号。数字输入可以是开关、按钮、传感器等设备提供的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值