DIEN论文

最新推荐文章于 2022-07-08 09:15:48 发布
最新推荐文章于 2022-07-08 09:15:48 发布
阅读量142 收藏
点赞数
分类专栏： 笔记
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wxgaws/article/details/109046073
版权

优点

  • 学到了更好的兴趣向量，通过增加一个预测任务实现的，该任务用兴趣向量预测下个点击item。
  • 学到了兴趣的演化，通过attention机制让与当前商品相似的浏览历史权重增大，突出重点。例如当前浏览的是衣服，那么应该重点参考浏览历史中的衣服，而浏览历史中的书籍等其他不相关内容，应该降低权重或直接去掉。
  • DIEN比DIN强在哪里？用GRU隐藏向量替代了直接的物品向量？

疑问

  • DICE是什么？

改进点

  • 辅助损失函数的负样本取得不好，基本只考虑了随机负样本，只能区分大的性趣差异，无法区分细微的兴趣差异。可以使用ELECTRA的方法，用生成器产生小差异的负样本，然后用判别器去学习细微的兴趣差异。
  • 注意力函数的改进。softmax用指数函数让强的更强，弱的更弱，但是弱的并没有完全消失。如果要让强的更集中，可以只取其中topk个，k为1时就是最大值。根据二八原则，可能取前20%会是个好选择。这样训练出的注意力将更集中和精确。
  • 双层GRU部分似乎还有优化空间，例如用transfermer替换GRU?
xxaxtt
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
DIEN在新闻推荐中的简化探索
yujianmin1990的专栏
07-11 1242
前言   阿里的DIEN的文章很有意思，用GRU对用户行为作兴趣状态描述，再用target与各个兴趣状态计算次attention，再交给AUGRU来捕捉兴趣演化。最近尝试着将其思路应用到实际新闻推荐中，鉴于原本DIEN模型稍微复杂，想做下简化工作，能够在捕捉用户历史兴趣不同权重的同时，保证预测效果稳定。 兴趣表达层   我们将用户的历史行为所代表的兴趣状态，分为长期兴趣和短期兴趣，在Ari...
DIEN论文解读
qq_35985044的博客
10-13 646
摘要：对于CTR预测模型，捕获用户行为数据背后潜在的用户兴趣是有必要的。此外，考虑到外部环境变化和内部认知的变化，用户兴趣会随着时间的推移而动态变化。目前，有一些CTR预估模型用于兴趣建模，但大多数都直接将行为表征作为兴趣，缺乏对具体行为背后的潜在兴趣进行针对性建模。此外，很少有工作考虑到兴趣的变化趋势。本文中，我们提出了一种新的模型——深度兴趣演化网络（DIEN）。具体来说，我们设计兴趣提取器层（interest extractor layer）以从历史行为序列中捕获时序兴趣。在这一层，我们引入辅助损失（
120分钟吃掉DIEN深度兴趣演化网络
Python_Ai_Road的博客
07-08 1060
阿里妈妈在CTR预估领域有3篇比较有名的文章。2017年的深度兴趣网络, DIN(DeepInterestNetwork)。2018年的深度兴趣演化网络, DIEN(DeepInterestEvolutionNetWork)。2019年的深度会话兴趣网络, DSIN(DeepSessionInterestNetWork)。这3篇文章的主要思想和相互关系用一句话分别概括如下...
dien论文翻译
1066196847的博客
06-26 276
论文地址：https://arxiv.org/pdf/1809.03672.pdf 基于所有这些观察，我们提出了深度兴趣进化网络（DIEN）来提高点击率。 DIEN中有两个关键模块，一种是从历史行为中提取潜在的短暂兴趣，另一个用于建模兴趣变化形态。适当的兴趣表示是兴趣演化模型的基石。在兴趣提取层，DIEN 选择 GRU (Chung et al. 2014) 来模拟行为之间的依赖关系。遵循兴趣直接导致连续行为的原则，我们提出辅助损失，它使用下一个行为来监督学习当前隐藏状态。我们称这些隐藏状态作为利益状态的
CTR --- DIEN论文阅读笔记，及tf2复现
WGS.
01-07 1007
文章目录前言DIN和DIEN的总体思路DIN对兴趣建模的缺点DIEN对兴趣建模的思路结构行为序列层（Behavior Layer）兴趣抽取层（Interest Extractor Layer）辅助损失兴趣进化层（Interest Evolving Layer）兴趣演化的特点作用注意力机制的计算DIN中注意力得分结合的方式DIEN中注意力得分结合方式（AUGRU）tf2实现 前言 因为DIEN是GRU和推荐网络的结合，所以有关序列模型部分请看博主的这篇文章： https://blog.csdn.net/qq_
具有复合 Dien 阳离子的四氰基金属酸盐：[Ni(dien)2][Ni(CN)4]·2H2O 和 [Ni(dien)2][Pd(CN)4]
06-29
Dien 阳离子的四氰基金属酸盐：[Ni(dien)2][Ni(CN)4]·2H2O 和 [Ni(dien)2][Pd(CN)4] 具有复合 Dien 阳离子的四氰基金属酸盐：[Ni(dien)2] [Ni(CN)4] · 2H2O 和 [Ni(dien)2][Pd(CN)4] Juraj Černáka,*、Jana ...
Tetracyanometallates with Complex Dien Cations: [Ni(dien)2][Ni(CN)4]·2H2O and [Ni(dien)2][Pd(CN)4]
06-29
Tetracyanometallates with Complex Dien Cations: [Ni(dien)2][Ni(CN)4]·2H2O and [Ni(dien)2][Pd(CN)4] Tetracyanometallates with Complex Dien Cations: [Ni(dien)2][Ni(CN)4] · 2H2O and [Ni(dien)2][Pd(CN...
钴(Ⅲ)-胺配合物模板导向合成新型草酸盐化合物[Co(dien) 2] [ NaCo2(C2O4) 4]. H2O (2011年)
05-08
以Co( dien) 2 . Cl3为模板剂,在水热条件下导向合成出新型草酸盐化合物[Co( dien) 2] . [ NaCo2( C2O4)4] . H2O,并通过X射线单晶结构分析、元素分析、ICP以及X射线粉末衍射分析对该化合物的结构进行了表征。结果表明...
硫氰酸根桥连双核铜配合物[μ-(SCN)Cu(dien)]_2(ClO_4)_2的合成、晶体结构和磁性研究 (2004年)
05-17
合成了硫氰酸根桥连双核铜配合物[μ(SCN)Cu(dien)]2(ClO4)2,测定了它的晶体结构.晶体为三斜晶系,P 1空间群,a=0.7465(2),b=0.7484(2),c=1.1822(2)nm,α=90.51(3),β=105.39(3),γ=109.06(3)°,V=0.5985(2)nm3,Dc=1....
深度学习推荐系统学习笔记5——DIEN
bjjoy2009的博客
02-08 445
DIEN算法是目前实现的最为复杂的算法，融合了RNN和Attention。
论文阅读之DIEN模型
ibelieveyouonly的博客
09-09 1294
目录总体介绍模型介绍兴趣提取层兴趣演化层GRU with attentional input (AIGRU)Attention based GRU(AGRU)GRU with attentional update gate (AUGRU)实验 总体介绍 提升点击率（CTR），毋庸置疑，现已经成为广告系统中的核心任务之一，而提高点击率就离不开商品个性化推荐。但目前的大多数模型都直接将行为表示为兴趣，缺乏针对具体行为背后潜在兴趣进行建模，比如已经有的DIN模型，它强调用户兴趣是多样的，并使用基于注意力模型来捕获
捕捉用户兴趣演化--DIEN论文解读
hionechance的blog
11-30 908
0. 说在前面 这篇论文距发表已经有一段时间了，但作为引入用户时序信息中提取用户兴趣的经典思路，在一些技术细节上还是有必要学习借鉴下。 个人心得： 用户行为可视为序列特征（相对于DIN的改进） GRU / LSTM隐变量 - 通过用户行为洞悉背后的兴趣 Attention - 捕捉不同时间点的用户兴趣与当前推荐物品的相关性，得到用户对该推荐物品的最近兴趣 原文地址： https://arxiv.org/pdf/1809.03672.pdf 原文代码： https://github.com/mouna99
[论文阅读] 阿里DIEN深度兴趣进化网络之总体解读
罗西的思考
10-31 732
之前我们介绍了阿里的深度兴趣网络(Deep Interest Network，以下简称DIN)，一年后阿里再次升级其模型到深度兴趣进化网络(Deep Interest Evolution Network，以下简称DIEN。 本系列文章通过解读DIN & DIEN论文以及源码，顺便梳理一些深度学习相关概念和TensorFlow的实现。
【论文导读】2019阿里CTR预估模型---DIEN（深度兴趣演化网络）
Blank_Space
07-07 1745
前言今天分享一篇阿里2019发表在AAAI上的CTR预估的论文《Deep Interest Evolution Network for Click-Through Rate Predic...
循环神经网络复习1-RNN,LSTM,GRU(为什么讲gru，因为阿里的推荐DIEN的论文中self-attention中大量是基于GRU的）
zlb872551601的博客
12-23 966
循环神经网络复习1-RNN,LSTM,GRU(为什么将gru)因为阿里的推荐DIEN的论文中self-attention中大量是基于GRU的
Deep Interest Evolution Network(DIEN)专题1:论文解析Deep Interest Evolution Network for Click-Through Rate
fangfanglovezhou的博客
01-19 1141
算法概述 Deep Interest Evolution Network(DIEN)是在Deep Interest Network(DIN)基础上的改进方法，其初衷是为了解决当前CTR预估中存在的一些问题： 1.大多数的方法缺少兴趣模型，直接把用户的行为当作用户的兴趣，缺少对具体行为背后隐含的兴趣做模型化处理； 2.用户的兴趣在不断发生变化，之前的大多数方法缺少对用户兴趣变化趋势的思考。 DIEN通过设计兴趣提取层（Interest Extractor Layer）来获取用户历史行为的兴趣，通过在.
论文分享--＞推荐系统--＞DeepInterestEvolutionNetwork(Dien)
村头陶员外的博客
12-27 405
本次要分享的论文是 CTR/推荐 领域内又一篇论文，论文链接dien，参考的实现代码 mouna-dien。和之前分享CTR论文类似，本论文难度不大，读起来较容易。 文章目录论文动机及创新点模型Behavior LayerInterest Extractor LayerInterest Evolving Layer核心代码分析auxiliary lossAUGRU总结参考资料 论文动机及创新点 利用用户历史行为数据，对用户的兴趣演变进行建模对CTR效果至关重要，但是目前大部分CTR方法 将行为表征直接视
过拟合问题总结
wxgaws的博客
10-14 763
阿里DIN论文中，auc只有0.6，但是一样会出现过拟合问题。
损失函数和最大似然
wxgaws的博客
10-15 663
从数据获取模型，需要有衡量标准即损失函数。首先需要知道条件概率P(y|x)，让概率最大就能求得模型。概率P取负对数后，就是损失函数。 回归问题。观测值为高斯分布时，得到平方差损失MSE。观测值为laplace分布式，得到平均绝对误差MAE。 分类问题。由多分类的观测概率，可以得到交叉熵损失。 ...
Traceback (most recent call last): File "d:\prediction-flow-master\examples\movielens\prediction_flow\pytorch\dien.py", line 9, in <module> from .nn import Interest ImportError: attempted relative import with no known parent package
最新发布
06-01
这个错误提示出现在你尝试运行Python代码时，通常是由于Python解释器无法找到指定的模块或包引起的。这个错误提示中指出，在你的 `dien.py` 文件的第9行中，出现了一个相对导入的错误，原因是没有找到该模块的父级包。 要解决这个错误，你需要确保你的Python环境中已经安装了相应的模块或包，并且这些模块或包可以被正确地导入。另外，你也可以检查一下你的Python代码中是否存在语法错误或者逻辑错误，这些问题有时也会导致类似的错误出现。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

xxaxtt

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值