IJCAI2019|基于会话和注意力机制的CTR预估模型DSIN(已开源)

最新推荐文章于 2021-07-12 08:20:00 发布
最新推荐文章于 2021-07-12 08:20:00 发布
阅读量739 收藏 1
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/hestendelin/article/details/104624092
版权
DSIN是一种针对点击率预估的模型，它利用会话和注意力机制捕捉用户兴趣的动态变化。通过多头注意力提取会话兴趣，结合双向LSTM建模不同会话间的关联，DSIN在广告和推荐数据集上表现出优越性能。
摘要由CSDN通过智能技术生成

Deep Session Interest Network for Click-Through Rate Prediction

Yufei Feng, Fuyu Lv, Weichen Shen, Menghan Wang, Fei Sun, Yu Zhu and Keping Yang

Alibaba Group,  Zhejiang University

https://www.ijcai.org/Proceedings/2019/0319.pdf

点击率预估在很多工业界应用（比如在线广告和推荐系统）中扮演者重要角色。

如何从用户行为序列中捕捉用户动态演变的兴趣在ctr预估中是一个持续不断的研究对象。

然而，目前大多数研究忽视了序列的内在结构: 每个序列都是由会话构成的，会话即为通过时间来分割的用户行为。同一个会话重的用户行为高度同质，不同会话中的用户行为具有异质性。

基于以上发现，作者们提出一种新的CTR模型，即深层会话兴趣网络，该模型能够利用用户行为序列中的多个历史会话。

首先利用带有偏移编码能力的自注意力机制来提取用户在每个会话中的兴趣。然后利用双向lstm对不同会话中的用户兴趣之间的关联进行建模。最后利用局部激活单元来自适应学习用户的多个会话中的兴趣如何决定目标商品。

在广告和推荐数据集上的实验表明，DSIN的效果优于其他STOA模型的效果。

几个会话的图示如下

这篇文章的主要贡献如下

考虑序列行为的模型主要有以下几个

基于会话的推荐方法主要有以下几种

所利用的特征包含用户特征，商品特征，以及用户行为特征

特征embedding方式如下

最低0.47元/天 解锁文章
frank_hetest
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
推荐系统CTR预估学习路线：引入注意力机制
炼丹笔记
02-17 914
推荐系统CTR预估学习路线：从LR到FM/FFM探索二阶特征的高效实现推荐系统CTR预估学习路线：利用树模型自动化特征工程推荐系统CTR预估学习路线：深度模型推荐系统CTR预估学习路线：引入注意力机制作者：Eric陈健锋 来源：炼丹笔记导语在广告、推荐系统CTR预估问题上，早期的完全规则方法被过渡到以LR为代表的机器学习方法，为了充分发挥组合特征的价值，在相当长一段时间里，业界热衷于使用LR+人工...
一文总结排序模型CTR点击率预估
炼丹笔记
04-08 952
​CTR点击率预估系列家谱炼丹之前，先放一张CTR预估系列的家谱，让脉络更加清晰。（一）FiBiNET：结合特征重要性和双线性特征交互进行CTR预估1.1 背景本文发表在RecSys 2019，主要通过动态学习不同特征的特征重要性权重，解决CTR预估中对不同场景下不同特征的权重（ReWeight）重定义问题，同时，双线性的使用解决稀疏数据在特征交叉建模时的有效性问题。1.2 创新由模型结构图我们可...
深度CTR预估模型的演化之路2019最新进展
AI科技大本营
11-04 2032
作者 | 锅逗逗来源 | 深度传送门（ID: deep_deliver）导读：本文主要介绍深度CTR经典预估模型的演化之路以及在2019工业界的最新进展。介绍在计算广告和推荐系统中，点击率（Click Through Rate，以下简称CTR）预估是一个重要问题。在CTR预估任务中（以下简称CTR任务），我们通常利用user信息、item信息和context信息来预测user对item的CTR。传...
DSIN:IJCAI'19论文“用于点击率预测的深层兴趣网络”的代码
05-10
深度会话兴趣网络用于点击率预测 用于点击率预测的纸质深层兴趣网络广告数据集的实验代码（ ） ，吕富玉，沉卫晨，王梦涵，孙飞，朱瑜，杨克平。 在第28届国际人工智能联合会议（IJCAI 2019）的会议记录中 操作环境 请使用pip install -r requirements.txt在python3.6设置操作环境。 下载数据集并进行预处理 下载数据集 下载数据集 将文件解压缩到raw_data目录中 数据预处理 运行0_gen_sampled_data.py ，按用户采样数据 运行1_gen_sessions.py ，为每个用户生成历史会话序列 培训与评估 火车DIN模型 运行2_gen_din_input.py ，生成输入数据 运行train_din.py 训练DIEN模型 运行2_gen_dien_input.py ，生成输入数据（对负样本进行采样可能需要很长时间。） 运行
推荐算法炼丹笔记：排序模型CTR点击率预估系列
炼丹笔记
02-01 911
微信公众号：炼丹笔记​CTR点击率预估系列家谱炼丹之前，先放一张CTR预估系列的家谱，让脉络更加清晰。（一）FiBiNET：结合特征重要性和双线性特征交互进行CTR预估1.1 背景本文发表在RecSys 2019，主要通过动态学习不同特征的特征重要性权重，解决CTR预估中对不同场景下不同特征的权重（ReWeight）重定义问题，同时，双线性的使用解决稀疏数据在特征交叉建模时的有效性问题。1.2 创...
NLP-注意力机制论文（2018-2019）
01-30
IJCAI和AAAI则可能关注了注意力机制在更广泛的任务中的应用，例如将其应用于对话系统，使得模型能够更好地理解和生成个性化的对话响应，或者在信息检索和推荐系统中，通过注意力机制来优化信息提取和匹配过程。...
IJCAI2019.zip
09-18
IJCAI2019.zip，全是论文的pdf
SMDL:（IJCAI 2019）用于训练深度神经网络的次模块批量选择
05-03
IJCAI 2019 基于小批量梯度下降的方法是当今训练神经网络体系结构的实际算法。 我们介绍了一种基于子模函数最大化的小批量选择策略。 我们新颖的次模块公式可捕获每个样本的信息量以及整个子集的多样性。 我们设计了...
IJCAI 2019上的一个TF2.0教程，SciPy_Tokyo+Hands-on+TensorFlow+2.0.zip
11-02
发表在IJCAI 2019上的一个TF2.0教程，本教程是Google资深开发人员Josh Gordon讲授，提供了最新TensorFlow 2.0的实操介绍，重点介绍了最佳实践。
DeepCTR-Torch：【PyTorch】基于深度学习的CTR模型的易于使用，模块化和可扩展的软件包
02-05
DeepCTR是基于深度学习的CTR模型的易于使用，模块化和可扩展的软件包，以及许多可用于轻松构建自己的自定义模型的核心组件层。您可以将任何复杂的模型与model.fit()和model.predict()通过pip install -U deepctr-...
RSAN:IJCAI 2020论文“用于联合实体和关系提取的特定于关系的关注网络”的源代码
05-07
IJCAI 2020论文“”的源代码 先决条件 火炬（1.0.1） 恩特克 麻木 六 代码 ├──config.py ├──数据├──DataLoader.py ├──data_prepare.py ├──eval_utils.py ├──杂项│├──init.py │├──LossWrapper.py │└──utils.py ├──型号│├──init.py │└──Rel_based_labeling.py ├──网络│├──coder.py │├──embedding.py │├──encoder.py │└──初始化的.py ├──Test.py └──train.py 内容描述 数据/ multiNYT / util.py 处理原始数据以获得单词dict（word.npy），关系dict（rel2id.json），标签dict（label2id.json）等。 标签：[“
WSDM2021 | 多交互注意力网络用于CTR预估中细粒度特征学习
张小磊的博客
07-12 320
嘿，记得给“机器学习与推荐算法”添加星标|作者：YEN|单位：东北大学|研究方向：推荐系统、计算广告本文分享一篇发表在WSDM’21的点击率预估方面的文章：交互注意力网络用于CTR预...
注意力机制最新综述解读
热门推荐
沈春旭的博客
04-16 18万+
注意力模型(Attention Model，AM)已经成为神经网络中的一个重要概念，并在不同的应用领域进行了充分的研究。这项调查提供了一个结构化和全面的概述关于attention的发展。我们回顾了注意力机制被纳入的不同的神经网络结构，并展示了注意力如何提高神经网络的可解释性。最后，我们讨论了在实际应用中，注意力机制取得的重要影响。我们希望这项调查能够为注意力模型提供一个简明的介绍，并在开发应用方法...
CIKM2019|AutoInt自注意力神经网络自动学习特征交互(已开源)
hestendelin的专栏
10-26 984
AutoInt: Automatic Feature Interaction Learning via Self-Attentive Neural NetworksWeiping Son...
CTR深度学习模型之 DSIN(Deep Session Interest Network) 论文解读
VariableX的博客
01-26 623
之前的文章讲解了DIEN模型：CTR深度学习模型之 DIEN(Deep Interest Evolution Network) 的理解与示例，而这篇文章要讲的是DSIN模型，它与DIEN一样都从用户历史行为中抽取兴趣表示，但不同的是DSIN把历史行为划分成了不同的Session，并且使用Transformer对每个Session内的行为抽取特征。 模型解读 整体模型的结构如下： 首先看看右下部分的矩形区域，这部分主要是对用户的行为序列建模，其中包含了4个子模块。 1. Session Divsion La
CTR研究综述
骐骥一跃，不能十步；驽马十驾，功在不舍。
07-13 1338
背景 随着互联网的高速普及与发展，“互联网+”成为当今的各行业发展的新思维，新方向。在这浪潮的冲击下，传统广告行业也迎来脱胎换骨的蜕变。与报纸、杂志、电视、广播这些传统的传播媒体广告相比，新生的互联网广告拥有天然优势：它能够追踪、研究用户的偏好，并在此基础上进行精准营销。通过每位网民的搜索行为、浏览习惯等个人信息的长期积累和深度分析，广告商便可以深入了解每一位用户的行为和爱好并按照他们的行为、喜...
【论文阅读笔记】NeurIPS2020文章列表Part2
zincrain的博客
12-09 5935
Online Multitask Learning with Long-Term Memory Fewer is More: A Deep Graph Metric Learning Perspective Using Fewer Proxies Adaptive Graph Convolutional Recurrent Network for Traffic Forecasting On Reward-Free Reinforcement Learning with Linear Function A.
深度兴趣网络模型探索——DIN+DIEN+DSIN
baymax_007的博客
06-10 1万+
目录 DIN 背景 din模型结构提出 自适应正则提出 相关延伸 系统概述 推荐流程介绍 特征工程 基本模型结构 DIN模型 自适应正则 DIEN 背景 DIEN模型提出 DIEN关键点 DIEN模型 兴趣提取层 兴趣演化层 DIEN模型结构 DSIN 背景 DSIN模型提出 DSIN改进点 DSIN模型 会话划分层 会话兴趣提取层 会话兴趣...
论文笔记：IJCAI-2019-Dynamic Hypergraph Neural Networks
David Lau的博客
10-17 2716
论文名称：IJCAI-2019-Dynamic Hypergraph Neural Networks 论文地址： https://www.ijcai.org/proceedings/2019/0366.pdf 摘要 在神经网络模型中，由网络深层生成的嵌入特征具有初始结构无法捕获的高阶关系。现有的基于图或超图的神经网络的主要缺点是只采用初始的图或超图结构，而忽略了训练过程中通过调整特征嵌入动态修改图...
python ijcai-18 阿里妈妈搜索广告转化预测 逻辑回归模型
最新发布
09-28
Python ijcai-18阿里妈妈搜索广告转化预测中，逻辑回归模型是一种常用的机器学习算法。 逻辑回归是一种分类算法，它可以用于预测目标变量的概率。在广告转化预测中，我们通常希望根据用户点击广告的特征，预测用户...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值