DIEN DIN

最新推荐文章于 2024-12-16 12:43:30 发布
最新推荐文章于 2024-12-16 12:43:30 发布
阅读量1k 收藏 6
点赞数
分类专栏： 推荐
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u013385018/article/details/116533499
版权
本文介绍了阿里巴巴在CTR预测中的两种深度学习模型：DIN（深度兴趣网络）和DIEN（深度兴趣进化网络）。DIN通过注意力机制捕捉用户历史行为与候选广告的相关性，自适应地学习用户兴趣表示。而DIEN进一步引入兴趣抽取和兴趣进化层，利用GRU单元和注意力机制捕捉用户兴趣随时间的演化，以更准确地预测点击率。这两种模型在处理用户行为序列的变长特征和兴趣多样性上具有创新性。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

目录

 

一 淘宝数据描述

二 DIN

2.1 base line （embeding + MLP）

2.2  DIN

 三 DIEN

3.1 兴趣抽取层Interest Extractor Layer

3.2 兴趣进化层Interest Evolution Layer

 

一 淘宝数据描述

https://tianchi.aliyun.com/dataset/dataDetail?dataId=56

Ali_Display_Ad_Click是阿里巴巴提供的一个淘宝展示广告点击率预估数据集。

1.1  auc 与gauc

推荐系统评价指标：AUC和GAUC

https://mp.weixin.qq.com/s/d764qYdnCSk62GQKfl_GCg

auc:

  • AUC的意义：随机抽取一对正负样本，AUC是把正样本预测为1的概率大于把负样本预测为1的概率的概率。

gauc:

我们采用了阿里提出来的gauc定义：

补充：其中为权重，一般可以设为每个用户view的次数，或click的次数，而且一般计算时，会过滤掉单个用户全是正样本或负样本的情况

二 DIN

从DIN到DIEN看阿里CTR算法的进化脉络

https://zhuanlan.zhihu.com/p/78365283

深度兴趣网络DIN-DIEN-DSIN

https://www.zhihu.com/search?type=content&q=DIN%E6%BF%80%E6%B4%BB%E5%8D%95%E5%85%83

DIN原理与实践（写的很好）

https://mp.weixin.qq.com/s/WDRKYJWBYF0izO_5vpgc6Q

2.1 base line （embeding + MLP）

在介绍算法之前我们先来看一看阿里的展示广告系统中用到哪些特征。主要有4个特征组，如下图所示，1）用户画像特征，2）用户行为特征，即用户点击过的商品，3）待曝光的广告，广告其实也是商品，后文中我们统称为candidate，4）上下文特征。

preview

MLP只能接受固定长度的输入，但是每个用户在一段时间内的商品点击序列长度可能会不同，属于变长特征，那么该如何处理这样的变长特征？base模型采用pooling的方式，一般有两种方法，求和或者平均，求和就是对多个商品的embedding，在每个对应的维度上做求和。例如，点击序列有10个商品，那么就有10个商品的embedding，假设商品的embedding维度是16，那么分别在第1到16维上，对10个值求和。平均就是对多个embedding，在每个对应的维度上求平均。不管用户点击过多少个商品，经过pooling之后，得到的最终表示向量embedding和每个商品的embedding维度都是相同的。

回到阿里的展示广告系统，如图2所示，每个商品有3个特征域，包括商品自身，商品类别，商品所属的商铺。对于每个商品来说，3个特征embedding拼接之后才是商品的表示向量。对商品序列做pooling，上图中采用的是求和的方式，pooling之后得到用户行为序列的表示向量。然后再和其他的特征embedding做拼接，作为MLP的输入。

MLP输入端的整个embedding向量，除了candidate的embedding部分，其余的embedding部分可以视为用户的表示向量。base模型对于任何要预测的candidate，不管这个candidate是衣服，电子产品等，用户的表示向量都是确定的、不变的，对于任何candidate都无差别对待。

在电商这个场景中，通常用户的兴趣具有多样性，可能在一段时间内点击过衣服，电子产品，鞋子等。而对于不同的candidate来说，浏览过的相关商品对于预测帮助更大，不相关的商品对于ctr预估可能并不起作用，例如用户看过的衣服，鞋子对于iphone的预测并没有帮助。

这样做有什么问题？

1. 一个明显的问题是不同用户的行为序列长度是不同的，fixed-length信息表达不全面
2. 用户最终的行为只和历史行为中的部分有关，因此对历史序列中商品相关度应有区分

2.2  DIN

根据上述问题，有两个解决思路：

1.对不同用户尝试不同维度的向量，导致训练困难
2.如何在有限的维度表示用户的差异化兴趣？

DIN从第二个问题出发，引入局部激活单元，对特定的ad自适应学习用户兴趣表示向量。即同一用户在获选ad不同时，embedding向量不同。

key idea

使用attention机制捕获ad和用户行为序列商品之间的关系

看结果

  1. 和ad相似度搞得物品拥有更高的权重
  2. 不相关物品的相似度低

下面是两个小tricks，对结果提升有帮助：

  1. Mini-batch Aware Regularization
  2. Dice Activation Function

Attention机制简单的理解就是，针对不同的广告，用户历史行为与该广告的权重是不同的。假设用户有ABC三个历史行为，对于广告D，那么ABC的权重可能是0.8、0.1、0.1；对于广告E，那么ABC的权重可能是0.3、0.6、0.1。这里的权重，就是Attention机制即上图中的Activation Unit所需要学习的。

为什么要引入Attention？举例：假设用户的兴趣的Embedding是Vu，候选广告的Embedding是Va，用户兴趣和候选的广告的相关性可以写作F(U,A) = Va * Vu。如果没有Local activation机制，那么同一个用户对于不同的广告，Vu都是相同的。如果有两个广告A和B，用户兴趣和A，B的相似性都很高，那么在Va和Vb连线上的广告都会有很高的相似性。这样的限制使得模型非常难学习到有效的用户和广告的embedidng表示。

DIN的核心idea是，候选广告需要和用户行为中的每一个商品做权重的计算，然后用权重去做加权平均得到用户针对这个候选广告的兴趣向量。也就是说 DIN 是通过考虑用户的当前点击行为与历史行为的相关性来自适应地计算用户兴趣的表示向量，用户的历史行为的权重依赖于正在看的商品。 

DIN使用activation unit来捕获local activation的特征，使用weighted sum pooling来捕获diversity结构

 三 DIEN

如果候选商品是衣服，那希望最近购买的衣服更能影响的当下的决策，DIN是不能做的， 他是用户行为序列中都是衣服embeding可能权重差不多，但其实越近的越能影响当下决策

推荐系统遇上深度学习(二十四)--深度兴趣进化网络DIEN原理及实战！

https://mp.weixin.qq.com/s/PtJHJMWzbOrKWejvcnClVg

3.1 兴趣抽取层Interest Extractor Layer

兴趣抽取层Interest Extractor Layer的主要目标是从embedding数据中提取出interest。但一个用户在某一时间的interest不仅与当前的behavior有关，也与之前的behavior相关，所以作者们使用GRU单元来提取interest。GRU单元的表达式如下：

图片

 

这里我们可以认为ht是提取出的用户兴趣，但是这个地方兴趣是否表示的合理呢？文中别出心裁的增加了一个辅助loss，来提升兴趣表达的准确性：

图片

这里，作者设计了一个二分类模型来计算兴趣抽取的准确性，我们将用户下一时刻真实的行为e(t+1)作为正例，负采样得到的行为作为负例e(t+1)'，分别与抽取出的兴趣h(t)结合输入到设计的辅助网络中，得到预测结果，并通过logloss计算一个辅助的损失：

图片

3.2 兴趣进化层Interest Evolution Layer

兴趣进化层Interest Evolution Layer的主要目标是刻画用户兴趣的进化过程。举个简单的例子：

以用户对衣服的interest为例，随着季节和时尚风潮的不断变化，用户的interest也会不断变化。这种变化会直接影响用户的点击决策。建模用户兴趣的进化过程有两方面的好处：
1）追踪用户的interest可以使我们学习final interest的表达时包含更多的历史信息。
2）可以根据interest的变化趋势更好地进行CTR预测。

而interest在变化过程中遵循如下规律：
1）interest drift：用户在某一段时间的interest会有一定的集中性。比如用户可能在一段时间内不断买书，在另一段时间内不断买衣服。
2）interest individual：一种interest有自己的发展趋势，不同种类的interest之间很少相互影响，例如买书和买衣服的interest基本互不相关。

为了利用这两个时序特征，我们需要再增加一层GRU的变种，并加上attention机制以找到与target AD相关的interest。

attention的计算方式如下：

图片

而Attention和GRU结合起来的机制有很多，文中介绍了一下三种：

GRU with attentional input (AIGRU)
这种方式将attention直接作用于输入，无需修改GRU的结构：

图片

Attention based GRU(AGRU)
这种方式需要修改GRU的结构，此时hidden state的输出变为：

图片

GRU with attentional update gate (AUGRU)
这种方式需要修改GRU的结构，此时hidden state的输出变为:

图片

 

2021-09-03din 与dien
强化学习曾小健
09-03 280
背景每点击付费(CPC) 是广告系统中最常见的计费形式之一，广告商对广告的每次点击进行收费。在CPC广告系统中，点击率(CTR)预测的效果不仅影响整个平台的最终收益，还会影响用户体验和满意度。 在大多数非搜索的电子商务场景中，用户不主动表达自己当前的意愿。因此设计能够捕捉用户动态兴趣的模型是提高CTR预测性能的关键。 DIN[4]引入了一个attention机制来激活具有意义的历史行为，从而获取目标物品的相关兴趣，以得到自适应的兴趣表示。但： DIN将用户行为直接视作兴趣，然而潜在的兴趣很难通过显.
精通推荐算法25：行为序列建模之DIEN -- GRU建模用户行为序列
谢杨易的博客
08-20 1215
DIN通过AttentionPooling的精巧设计，解决了行为序列与候选商品的充分交叉、行为序列针对不同候选物品的自适应建模、以及各历史行为重要性的有效区分等问题，引起了业界对用户行为序列建模的热情。但其序列中各历史行为之间没有关联，时序信息也是缺失的，无法表达用户兴趣的演化过程，导致行为序列建模的表达能力不足。进一步理解，类似于自然语言处理中的文本序列，用户行为序列本质上也是一个序列，用户当前是否点击与之前的历史行为息息相关。比如用户购买手机后，大概率接下来会买手机壳和贴膜。
推荐系统
weixin_44070747的博客
06-16 1427
一 推荐系统简介 ​ 个性化推荐(推荐系统)经历了多年的发展，已经成为互联网产品的标配，也是AI成功落地的分支之一，在电商(淘宝/京东)、资讯(今日头条/微博)、音乐(网易云音乐/QQ音乐)、短视频(抖音/快手)等热门应用中,推荐系统都是核心组件之一。 推荐系统产生背景 信息过载 & 用户需求不明确 分类⽬录（1990s）：覆盖少量热门⽹站。Hao123 Yahoo ...
推荐系统之DIEN
张先生－您好的博客
05-05 771
推荐系统之DIEN 主要贡献： • We focus on interest evolving phenomenon in e-commerce system, and propose a new structure of network to model interest evolving process. The model for interest evolution leads to more expressive interest representation and more precise
DIEN论文解读
qq_35985044的博客
10-13 804
摘要：对于CTR预测模型，捕获用户行为数据背后潜在的用户兴趣是有必要的。此外，考虑到外部环境变化和内部认知的变化，用户兴趣会随着时间的推移而动态变化。目前，有一些CTR预估模型用于兴趣建模，但大多数都直接将行为表征作为兴趣，缺乏对具体行为背后的潜在兴趣进行针对性建模。此外，很少有工作考虑到兴趣的变化趋势。本文中，我们提出了一种新的模型——深度兴趣演化网络（DIEN）。具体来说，我们设计兴趣提取器层（interest extractor layer）以从历史行为序列中捕获时序兴趣。在这一层，我们引入辅助损失（
一 、个性化电商广告推荐系统介绍
Wzideng@qq.com
08-13 527
Ali_Display_Ad_Click是阿里巴巴提供的一个淘宝展示广告点击率预估数据集数据集来源：天池竞赛原始样本骨架raw_sample淘宝网站中随机抽样了114万用户8天内的广告展示/点击日志（2600万条记录），构成原始的样本骨架。user_id：脱敏过的用户ID；adgroup_id：脱敏过的广告单元ID；time_stamp：时间戳；pid：资源位；noclk：为1代表没有点击；为0代表点击；clk：为0代表没有点击；为1代表点击；
个性化广告推荐系统实战系列（三）：CTR预估的数据准备(这篇走起来步履维艰)
Miracle8070
01-21 2464
1. 写在前面 这几天打算整理一个模拟真实情景进行广告推荐的一个小Demon， 这个项目使用的阿里巴巴提供的一个淘宝广告点击率预估的数据集， 采用lambda架构，实现一个离线和在线相结合的实时推荐系统，对非搜索类型的广告进行点击率预测和推荐(没有搜索词，没有广告的内容特征信息)。这个感觉挺接近于工业上的那种推荐系统了，通过这个推荐系统，希望能从工程的角度了解推荐系统的流程，也顺便学习一下大数据的相关技术，这次会涉及到大数据平台上的数据处理， 离线处理业务和在线处理业务， 涉及到的技术包括大数据的各种技术，
【大数据】【Spark】淘宝展示广告点击率统计分析
丷从心的博客
12-16 1963
【大数据】【Spark】淘宝展示广告点击率统计分析
推荐系统（7）——推荐算法4(深度学习时代来临：模型结构上的突破)ACF、DIN、DIEN、DRN
weiyaner的博客
01-08 1902
注意力机制，时序模型，强化学习在深度推荐算法上的结合
2021-09-03Dien
强化学习曾小健
09-03 278
AUC 值被定义为 ROC 曲线先下方的面积，取之范围在(0,1)之间，ROC 曲线越靠近左上方 AUC 的值越大，预估模型的结果越好。 该模型框架是将两种模型进行联合训练，综合利用浅 层模型的记忆能力和深层模型的泛化能力，既能学习到线性特征又能学习到非线性特 征，实现单模型可以兼顾准确性和拓展性。 （1）Wide 模型 Wide 模型是广义线性模型，计算公式如式（3-1）所示： （3-1） 其中，y是线性模型的预测值，是输入模型的特征集合， 是 模型权重参数的矩阵，b为偏倚常量。输入特征不仅包含
Python源码+推荐系统
03-08
推荐系统 项目介绍 介绍推荐系统基本知识，相关算法以及实现。 目录规划 data 测试用数据集合 py3.x 相关实践的python 实现 spark 相关实践的spark 实现 manual 相关资料集合 paper阅读分享 基础知识分享 内容导航 python 实现（主要用于原理理解） ItemCF(使用sklearn 版本和 不使用sklearn版本） UserCF(使用sklearn 版本和 不使用sklearn版本） LFM Graph—Based Spark 实现 特征工程 ItemCF 计划项(恩 就是挖坑的意思) 推荐算实现 基于用户行为数据的推荐算法 关联规则 LFM Graph ALS 利用用户标签数据推荐算法 LDA TF-IDF TagCF 探索性研究（各个paper的实现） Markov Chain 社交网络 基于深度学习的推荐算法 .... 评价系统实现 推荐系统架构实现 外围架构 用户行为日志存储系统 日志系统 UI 功能模块 数据录入模块 用户特征生成模块 推荐模块 过滤模块 排名模块
点击广告行为预测数据集
04-12
该数据集包括训练集train.csv，训练集结果train_label.csv，预测集test.csv，以及结果的保存样式submission.csv。
淘宝用户行为数据集
01-05
3182257条数据，可做推荐系统，数据分析 它包含字段（id, uid,age,gender,item_id, behavior_type, item_category, date, province） //1.浏览、2.收藏、3.加购物车 4.购买 7.统计各省的前十热门关注产品（浏览+收藏+添加购物车+购买总量最多前10的产品） 8.统计各省的前十热门购买产品（销售最多前10的产品） 9.统计各省销售最好的产品类别前10（销售最多前10的产品类别） 10.统计各省男女用户数量（gender 0：男 1：女 2：未知）
TB_clk:这是一份淘宝平台的广告展示和点击数据分析，从这些数据中发现某些规律或者异常，进而给运营团队提出建议
04-29
淘宝广告展示和点击数据集分析报告 数据集地址： 从淘宝平台的广告展示数据中，分析数据，提出建议 。 在广告展示数一定的情况下，分析点击率的高低的影响因素。 分析角度： 从广告角度，分析不同的广告商品价格对点击率的影响。 从广告角度，分析广告类别对点击率的影响。 从用户角度，结合聚类模型分析用户群体和点击率的联系。 结论： 广告商品价格对点击率的影响： 从广告角度看，广告商品在100元以内的广告点击率更高，深度用户占点击广告用户的81%。 建议对此区间的广告进行优先投放。 广告类别对点击率的影响： 类别6261广告效果最好，有最高的点击率，展示数和点击人数。 可以对该类广告加大投入。 4520广告虽然有较高的展示量，但是点击率最低，广告效果差。 由于面向更多的女性消费者，年龄层次3，平均商品价格155，建议对该类广告优化，进行适当的促销、降低商品价格等活动，从而提高点击率。 结合聚类模型分析
推荐系统在深度学习方向的模型演变（DeepCrossing，NeuraCF，PNN，wide&Deep,DeepFM,Deep&Cross,NFM,DIN,DIEN,DRN)---未完待续
data_curd的博客
02-19 716
1、改变神经网络复杂程度：Deep Crossing(深度特征交叉) Deep&Crossing模型--------源于2014年-------微软 模型在其内部网络中解决的问题： 1、离散型特征编码过于稀疏，不利于网络的训练 2、特征自动交叉组合的问题 3、输出层中达到问题设定的优化目标 模型的网络结构图： 模型结构共计四层， ** Embedding层： **作用使其将稀疏的类别特征转换为稠密的Embedding向量 Stacking层： 作用是把不同的Embedding特征和数值型特征拼接在
Rec-Hub组队学习（1）
z_modi的博客
06-14 1222
组队学习Rec-Hub
Power BI分析广告点击率
Double_Black1213的博客
08-06 413
这个报告我没有做完，一共有三张表，我对表内的一些字段的意义不是很理解，导致做可视化的时候跟报告出入很大，应该还是对此数据不够了解，不过还是学习到很多新知识的，我觉得后续还是需要学习powerbi里面各种常用函数的用法，否则要往深层次学习还是比较困难，这里简单介绍一下学习到的新知识。
广告投放分析（Python,Sql）
liu_ziyue的博客
07-08 5222
一、项目背景与目的 1. 背景 随着互联网的飞速发展，各种网络产品应运而生，如电商网站，移动应用，视频媒体，新媒体等等。网络广告也成为了一种主要的广告形式。而网络广告的形式具有复杂和多样化的特点。 2. 问题 当我们完成一个重点活动的全网营销。该从哪些维度来总结和评估本次推广的得失呢？ 实现广告的精准投放就是最大化投入产出的过程，需要知道我们的用户在哪里，在哪些渠道能够更大化用户价值，以及各个渠道用户价值的变化规律。通过对渠道方式和渠道质量的追踪，以引流和转化率为关键事件，做好渠道的优化和维护。 二、分析维
kaggle案例：广告点击率预估+LR
热门推荐
zhouwenyuan1015的博客
05-18 1万+
一、业务背景 传统广告与在线广告区别？ 传统广告： 类似电视广告，报纸媒体、杂志、广播、户外媒体等。 在线广告： 类似百度搜索广告，facebook页面展示广告。 区别：在线广告更多与用户相关，例，在google上搜索“kids shoes”,则会出现与搜索相关的一些带有广告标签（“Ad”）的连接。例如，淘宝中带有hot标签的物品。 注： 国家规定如果是广告的话，必须带有广
DIN模型原理以及特点
最新发布
04-04
<think>好的，我现在要解答用户关于深度兴趣网络（DIN）模型的工作原理及其主要特性的问题。首先，我需要回顾一下自己之前对DIN模型的了解，并结合提供的参考文献来确保回答的准确性。 用户提供的引用资料提到了DIN模型主要用于点击率预测（CTR），特别是在电商场景中处理用户兴趣的多样性和动态变化。核心是注意力机制，用来捕捉用户历史行为与当前候选商品的相关性。引用[2]和[4]都提到了基准模型是Embedding&MLP结构，DIN在此基础上加入了注意力网络，动态学习用户兴趣。引用[1]和[3]则补充了特征表示和线上应用的信息。 接下来，我需要整理DIN的工作原理。首先，用户的特征通常包括历史行为，比如点击过的商品。DIN模型需要将这些行为与当前候选商品关联起来，这里用到了注意力机制。注意力机制会计算每个历史行为与当前商品的相关性权重，加权求和后得到用户的兴趣表示。这个表示再与其他特征（如用户画像、上下文）结合，输入到MLP中进行预测。 关键特点方面，注意力机制是核心，能够动态捕捉兴趣，而不是静态的池化操作。此外，参考文献提到DIN针对用户兴趣的多样性，不同商品激活不同的历史行为，这也是其创新点。另外，引用[4]指出DIN在基准模型基础上添加注意力网络，这说明其结构上的改进。 还需要考虑DIN的具体实现细节。比如，如何计算注意力分数？可能使用候选商品和历史行为的嵌入向量之间的交互，比如点积或神经网络。引用[2]提到阿里巴巴的Python实现，可能需要代码示例来说明注意力机制的结构。 另外，用户可能对DIN的优势和应用场景感兴趣。根据引用[2]，电商场景中的CTR预测，特别是处理用户动态兴趣，是DIN的主要应用。而传统模型可能无法有效处理这种动态变化，DIN通过注意力机制解决了这一问题。 需要注意的问题：确保对注意力机制的解释准确，区分DIN与其他模型（如DIN的变种DIEN）的不同之处。同时，正确引用文献中的内容，比如基准模型的结构和DIN的改进点。 总结回答结构： 1. DIN模型的应用背景和目标。 2. 工作原理分步骤说明：特征处理、注意力机制、兴趣表示、预测。 3. 关键特点：动态兴趣捕捉、注意力机制、针对多样性设计。 4. 可能的代码示例（如注意力层的实现）。 5. 引用文献支持各部分内容。 现在需要验证各部分是否符合参考文献的内容。例如，引用[4]提到基准模型是Embedding&MLP，DIN添加注意力网络，这与工作原理部分一致。引用[2]强调动态捕捉兴趣，符合关键特点中的描述。确保所有引用标注正确，例如在提到注意力机制时引用[2]，在基准模型时引用[4]。 最后，生成相关问题，可能需要围绕DIN的优化、应用场景、与其他模型的对比等方面提问，确保问题与用户的问题相关，并基于提供的引用内容。</think>### 深度兴趣网络（DIN）模型工作原理及关键特点 #### 1. **工作原理** DIN模型的核心是通过**注意力机制**动态捕捉用户历史行为与当前候选商品的相关性，从而建模用户兴趣的多样性与动态变化。具体流程如下： 1. **特征表示** 用户特征（如历史行为序列、画像属性）和商品特征（如候选广告属性）均通过嵌入（Embedding）层转换为低维稠密向量[^1]。例如，用户的历史行为序列包含多个商品嵌入向量：$\\{e_1, e_2, ..., e_T\\}$，候选广告的嵌入向量为$e_a$。 2. **注意力机制计算** 对每个历史行为$e_i$与候选广告$e_a$计算相关性权重$\alpha_i$： $$ \alpha_i = \text{Softmax}(f(e_i, e_a)) $$ 其中，$f$是一个可学习的函数（如全连接网络或点积），用于衡量两者的相关性[^2]。 3. **动态兴趣表示** 加权求和历史行为嵌入，生成用户兴趣向量$v_u$： $$ v_u = \sum_{i=1}^T \alpha_i e_i $$ 这一步骤使模型能够**动态聚焦**与当前广告最相关的历史行为[^4]。 4. **预测层** 将用户兴趣向量$v_u$、候选广告向量$e_a$及其他特征（如上下文信息）拼接后输入多层感知机（MLP），输出点击率预测结果： $$ \hat{y} = \sigma(\text{MLP}([v_u; e_a; \text{其他特征}])) $$ #### 2. **关键特点** - **动态兴趣捕捉**：通过注意力机制，DIN能够针对不同候选广告自适应调整用户兴趣表示，避免传统静态池化（如平均池化）的信息损失。 - **处理兴趣多样性**：用户历史行为可能涉及多个兴趣领域，DIN通过注意力权重区分不同行为的重要性，增强模型表达能力[^3]。 - **小批量敏感正则化**：为缓解高维稀疏特征中的过拟合问题，DIN引入了**Dice激活函数**和**自适应正则化技术**，提升模型泛化能力。 #### 3. **代码示例（注意力机制简化实现）** ```python import torch import torch.nn as nn class AttentionLayer(nn.Module): def __init__(self, embed_dim): super().__init__() self.linear = nn.Linear(embed_dim * 2, 1) # 计算相关性得分 def forward(self, candidate_emb, history_embs): # candidate_emb: (batch_size, embed_dim) # history_embs: (batch_size, seq_len, embed_dim) batch_size, seq_len, _ = history_embs.shape candidate_expanded = candidate_emb.unsqueeze(1).expand(-1, seq_len, -1) # 扩展为(batch_size, seq_len, embed_dim) combined = torch.cat([candidate_expanded, history_embs], dim=-1) # (batch_size, seq_len, 2*embed_dim) scores = self.linear(combined).squeeze(-1) # (batch_size, seq_len) weights = torch.softmax(scores, dim=1) # 注意力权重 weighted_sum = torch.sum(weights.unsqueeze(-1) * history_embs, dim=1) # (batch_size, embed_dim) return weighted_sum ``` #### 4. **应用场景** DIN广泛应用于**电商推荐**与**广告点击率预测**场景，尤其适用于用户行为丰富、兴趣多样的场景，例如： - 根据用户浏览历史推荐相关商品。 - 动态调整广告展示策略以提升转化率。 --- §§ 相关问题 §§ 1. DIN模型中的注意力机制与传统池化方法相比有哪些优势？ 2. 如何解决DIN模型训练中的过拟合问题？ 3. DIN模型与后续的DIEN模型有何改进与区别？ 4. 在特征工程中，DIN模型如何处理长序列用户行为数据？ : 特征表示 : 阿里巴巴DIN模型原理与Python实现 [^3]: 阿里兴趣网络DIN网络中几个关键的点(三) : 深度推荐模型-DIN
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值