精排模型-从MLP到行为序列：DIN、DIEN、MIMN、SIM、DSIN

最新推荐文章于 2024-05-31 20:38:16 发布
最新推荐文章于 2024-05-31 20:38:16 发布
阅读量1.4w 收藏 4
点赞数 3
文章标签： 大数据 算法 python 机器学习 人工智能
原文链接：https://mp.weixin.qq.com/s?__biz=MzIwMTc4ODE0Mw==&mid=2247574395&idx=2&sn=5d4cbfa64300c19a0639af50fa07826c&chksm=96eb7cfba19cf5ed369449a3286b6e9178d249d12db7ba080233b03f29d4cad4b214bb6e36f4&scene=126&&sessionid=0
版权

8641527a19d23eafa0d411dbb587c877.gif

©作者 | Glenn

单位 | 腾讯

研究方向 | 数据挖掘、计算广告

ebf566840c3dfc8b34b9001007c5813e.png

背景

如下图 [1][2]，阿里妈妈的精排模型，经历了从传统 LR、MLR 到深度模型 GwEN，再到用户兴趣建模的过程。

传统的深度模型（如GwEN），一般采用 Embedding&MLP 的形式，它会将用户的所有兴趣信息转化为一个定长的向量。但用户的兴趣是多样的，定长的向量可能不足以表达。而且评估用户对于不同商品/广告的兴趣时，应该使用不同的行为（判断用户是否喜欢衣服，应该关注用户对衣服的历史行为与兴趣程度；判断用户是否喜欢包包，则关注用户对包包的历史行为）。因此盖坤团队提出 DIN，从用户行为中提取与目标商品相关的多峰兴趣；

DIN 模型更多是从挖掘多峰兴趣角度出发，没有考虑行为的序列信息，兴趣的变化也能给模型提供信息，因此有了 DIEN；这两个模型后，用户兴趣建模划分出了 2 个研究分支，一个是用户长期兴趣建模（MIMN、SIM），该分支依然是盖坤团队主导的；另一个分支则是从 session 的角度，对行为做进一步划分（DSIN）。

858f400a39c58a18094c713018b918af.png

006677cb22fd774404b7c587eb51ed04.png

DIN [3][4]

2.1 简介

ca0aee491987344e27b28c988104365d.png

如上左图是传统的 Embedding & MLP 模型，处理行为数据采用 sum-pooling 得到定长的 embedding [2,3]。

这里行为的定义可以是广告点击、商品购买、加购物车等，每个行为节点由 3 个 embedding 拼接组成（商品 ID、商品类别 ID、商铺 ID）。

右图是 DIN 的模型结构，作者将每个行为节点（ ）与候选节点做交叉得到权重（即途中的 activation unit），再通过 weighted-sum-pooling 的模型得到行为的 embedding，即

50e4af85ce5804a64aa55510da397d15.png

其中，u 是用户，A 是商品/广告， 为候选商品的 embedding。这样，对于每个候选商品，提取的用户行为 embedding 是不同的。

作者在实验部分可视化了 activation unit 的结果，和候选商品相关的行为节点会贡献较大的权重，符合认知

7686547c61188860c48f8c49ee7b309f.png

2.2 创新细节

这种行为兴趣的建模方式，在实际应用时会遇到一些问题：

1. 行为数据的参数量巨大（商品 ID 可能就百/千万），模型容易过拟合；引入 L2 正则，参数量大训练缓慢。

2. 针对不同的候选节点，用户的兴趣 embedding 不同，波动大会影响 MLP 部分的模型收敛。

解决方案

1. 提出 Mini-batch Aware Regularization。L2 正则缓慢的原因是每个 mini-batch 会对模型的所有参数做正则，但其实每个 minibatch 只使用了部分的商品 ID。因此更好的做法是，每个 mini-batch 只对使用到的商品 ID 计算 L2 正则。实验证明，通过这种方式，能有效缓解过拟合现象，同时确保训练效率。

2. 作者针对 MLP 部分的激活函数（PReLU）做优化，提出更具泛化性的 Dice，这种激活函数可以根据输入数据的均值和方差，动态调整函数形态。在后续的论文中，模型也延用了这种激活函数。

  • PReLU：数学公式如下，其中， 为指示函数

    fbf6421fa69b2792fd9fa8d81aca5456.png

  • Dice：数学公式如下

    9a3a1a68d5b462c220c28a1cd797b131.png

4bddc0e361d48b49fbcca711d4a7dab9.png


2.3 优缺点

1. 该模型能动态获取用户的多种兴趣。但没有考虑行为的先后关系（序列）、兴趣的变化过程等。

2. 候选商品与每个行为节点计算权重，仅适用较短的行为序列（论文中采用 14 天的曝光日志，每个用户平均 35 个行为）。

3. 对比传统的 Embedding&MLP 的模型，计算复杂度提升。上线时也做了一些 GPU-CPU 的计算优化。

c825534193e48a7ec3667914b8996e89.png

DIEN

3.1 简介 [5][6]

针对 DIN 没有考虑行为先后关系、兴趣变化过程的问题，盖坤团队继续优化模型结构，引入 GRU 提取行为序列中的信息，并结合 DIN 中目标 AD 与行为节点计算权重的模式（Attention），提出 AUGRU 进一步挖掘兴趣变化中的信息。

7bad22c30862b4aceed648905d639f51.png

3.2 创新点

提出了兴趣提取层（Interest Extractor Layer）和兴趣演进层（Interset Evolving Layer）两个创新点：

1. 兴趣提取层（上图米色部分）

实际业务场景中，用户的行为序列可能比较长（14 天数据平均 30+ 长度），为了避免梯度消失，作者采用 GRU 提取隐式信息。

考虑到整个模型结构较复杂，只有一个最终 loss 不足以训练时序结构。作者在特征提取层引入了辅助 loss。

具体的，GRU 本身也是用于预测下一个行为节点，故可以引入此任务做辅助。假设用户 i 的行为序列为 ，在时刻 t，GRU 的输出为 ，t+1 时刻的行为节点为 ，我们随机采样的其他节点为 。则辅助 loss 为

248522bd8772a7f850e3b8f5ba8f9e27.png

其中，

b89b9c98739a8bea724341851b79b1ac.png

整体 Loss 为： 

c60af5a147b9b25d22524787c96db78d.png

2. 兴趣演进层

兴趣提取层主要学习序列信息，但是序列中那些节点更有助于判别用户对候选 AD 的兴趣呢？作者借鉴 DIN 的方法，提出 Attention 的机制，计算兴趣提取层中每个隐层输出与候选 AD 的相关性。

f26bd107860126edb0d5c36986b4efa0.png

考虑到隐层行为本身是序列相关了，为了不打破这种序列关系，作者考虑将相关性计算融入序列，提出 AUGRU。

具体的，是将上述计算的权重，作为 GRU 更新门 [7] 的一部分，如下

  • 更新门： 

  • 输出： 

8e6ce6c33e4a09314a2d58b488d5b59e.png

实验中，作者也可视化了引入权重后，序列 embedding 会有较强的指向性变化（如下左图中，曲线是对演进层每个输出做 PCA 后链接其他的结果，黄色是没有 attention 的结果，蓝色是目标 AD 与行为均不相关时的结果，红色是目标 AD 与某个行为相关时的结果）。

e997b138e6f718850243af310e2bd53c.png

3.3 优缺点

1. 引入 GRU 提取行为序列信息，但模型结构复杂，上线时除了做 GPU-CPU 的计算优化，作者还提到模型压缩，互殴去相对轻量级的模型上线

2. 吃不下过长的行为序列，LSTM/GRU 一般能承受的行为序列长度为 30-50；实验中采用 49 天数据，每个样本行为序列为 14 天（序列长度 150 截断）


fccfc985b348d88cbabf7d3819549d19.png

MIMN[8][9]

4.1 动机和目标

411b817945322af5287e20bdbc0f9f47.png

DIN、DIEN 处理的序列长度都有限（最大为 150），而离线实验验证，采用的行为序列越长，模型收益越大。因此意愿上是期望使用更长（1000）的行为序列（long-life），但长的行为序列会带来两个问题。

1. 存储限制：天猫广告业务上，6 亿用户，14 天行为序列（最大长度 150），消耗 1TB 的存储，如果序列长度放开到 1000，预计消耗 6TB（估计也用不到，毕竟大序列的可能都属于长尾）。

2. 时延限制：精排一般是 10ms，DIEN 上线已经达到 14ms，如果继续拉大序列长度，预计时延会达到 30ms。

针对上述两个问题，作者开始了优化 MIMN 的优化之路。

4.2 计算分离（User Interest Center）

维护一个离线的用户兴趣中心，存储当前时刻的兴趣 embedding 结果（存储序列消耗资源大，存不下），每次有新的用户行为进来时更新 embedding。广告请求来时，给 UIC 发请求，获取兴趣 embedding 供线上计算。

5595a1fec9e5873712e1e0cc30bdeb41.png

4.3 长序列兴趣提取

UIC 的解决方案会引入一个新问题，如果保存当前时刻的 embedding，并且这个结果是能增量更新的？作者借助记忆网络 NTM 来处理这个问题。整体模型结构如下，左下角部分为行为序列处理结构，Controller、Read Head、Witer Head、M 均为 NTM 的原始模型结构，Memory Induction Unit 为作者创新的部分。

离线计算时，左下角的结构能得到当前时刻每个用户的行为序列特征 S，兴趣矩阵 M，并存储在 TAIR 存储系统中。线上请求到来时，查询 TAIR 里对应用户的特征序列和兴趣矩阵，并将候选 AD 的 embedding（ ）输入模型的 Controller 部分，今儿提取相关的兴趣和序列结果，作为 MLP 模型输入的一部分。

论文重点介绍了 NTM、Memory Induction Unit 两部分：

371788056387954df70d8ff3f4fbb1e9.png

1. NTM

94f0dad37c7fe85b62082b80ce5bc220.png

这是 Google 于 14 年提出的记忆网络结构，该结构由 Controller、Memory 两部分构成，Memory 存储了一个记忆矩阵 。这里，作者把矩阵的每一行想象成一种兴趣类型。Controller 可以想象成 MLP/LSTM 等结构。

整个模型包括两种操作：

1）读操作：在线请求时用，输入是候选商品 /AD 的 embedding

  • 将外部输入经过 Controller 得到读操作头  

  • 计算存储矩阵中每一行结果（论文里作者当作用户某种类型的兴趣）与读操作的相关性，作为特征的权重，即

    0c4254e9def48ed69617b963e944ccc9.png

    其中

    28434d2cbc424143b5debfb2a4e44950.png

  • 加权求和输出请求结果  

*论文里介绍的相对简单，其实还包含了平滑、锐化等操作，更进一步的了解可以参考 [10]。

9eac3fb6016015e84a656c3dcd45f05c.png

2）写操作：离线计算，初始训练/用户新增行为时用

  • 将新增行为经过 Controller 得到写操作头，包含 Erase Vector（ ）和 Add Vector（ ）两部分

  • 更新存储矩阵： 

*具体操作可以参考 [11]

2. 创新点

（1）存储利用的归一化（Memory Utilization Regularization）

这是针对写操作的一种优化。行为序列中的 Item 也存在马太效应，大量热门 item 的进入，导致写操作存在大量相同的输入（写操作头相同），此时存储矩阵中的某些行被频繁更新，某些行却被忽略。作者提出优化写操作头的构造方法。

具体的，假设原来的写操作权重为 ，作者引入累积更新权重、对写操作头做了新一层的封装，如下：

b9db652f2c7e0a76ad2e0fa0febd1e4c.png

其中 为待训练参数， 为累积的更新权重。

在此基础上，作者在损失函数增加了正则化项限制累积更新权重的方差

23b612c86fe53ebeba008b6d2b6d0aec.png

其中 。

（2）Memory Induction Unit（MIU）

NTM 的结构没有提取时序信息，作者提出 MIU 的结构，获取每个时刻行为序列的结果。具体的，对于时刻 t，作者从读操作权重中选择 top k，即

402 Payment Required

，并提取到对应的存储矩阵结果，经过 GRU 得到每个时刻的 embedding

0c2b5d28d13ca7fb4be6cbb3e7976a53.png

4.4 优缺点

1. 时延：提出计算分离的模式，使得模型处理长序列（序列长度为 1000）都不存在时延的压力，如下图

2. 存储：提出 NTM 的结构，存储系统只需要为每个用户维护存储矩阵 Mt 和序列矩阵 S，不需要单独保存行为序列，存储量从 6T 转为 2.7T

3. 效果：计算分离后，兴趣的提取无法很好的和候选 AD / 商品交互（仅通过存储矩阵实现交互），可能会对效果有损

4. 同步：时序模块的结果和 ctr 模型是异步更新的，行为序列频繁更新可能导致模型效果波动，需要有一定的回滚机制

5. 适用性：当用户行为丰富且行为更新频率没有远高于请求时，可以使用该模型。这是因为该模型时针对长序列行为建模的，行为数据不丰富当然不必使用。而如果用户行为更新频繁，ctr 模型都来不及更新，可能会使预测结果产生波动。

6. 其他：作者提到双 11 时虽然行为数据丰富，但用户行为特殊，提取出来做特征效果反而下降。

569d1a308e60a7e4871bdbc39fa62314.png


894a59d68492bd94df29c1ca138961c0.png

SIM [12][13]

5.1 简介

MIMN 虽然通过计算分离的方式确保了时延方面无压力，但也带来了更新频率不一致，行为序列无法与候选 AD 更好的交互等问题。线上使用时，作者发现当序列长度超过 1k 时，MIMN 效果会变差（也是因为无法与候选 AD 交互）。

基于这些问题，作者干脆直接模仿推荐系统多阶段过滤的方法，第一阶段通过相对粗略的搜索模式，提取行为序列中与候选 AD 较相关的节点，第二阶段通过精准搜索的模式，得到序列与候选 AD 的关系，并形成 embedding 供 MLP 使用。这个模型能吃下的最大序列长度为 54000，能满足工业界提取长期用户兴趣的需求

fb69b2f85c4eced67e38b5aca00987e1.png

5.2 泛搜索结构（第一阶段）

如上图左侧所示，作者的重点是提取长期行为中（短期的默认全取，论文的工业数据集中短期指 14 天内的行为），与候选商品相关的行为节点。作者提出两种匹配方法：

1. Hard Search：核心思想是只提取和候选商品相同类目的行为信息。具体的，在线维护一个“用户 ID -商品类目 ID -行为商品 ID”的双层索引数据。请求到来时，直接检索对应类目的行为商品序列。

2. Soft Search：通过类似 ANN 的商品召回结构，获取与候选商品相关的行为节点。

  • Serving 阶段：假设行为序列为 ，候选 AD 的 embedding 为 ，则基于 dot-product + 近邻搜索（ALSH）的方式（ ），得到最相关的 Top K 个长期行为。

  • 模型训练阶段：通过采样的方式得到若干行为，通过加权 sum-pooling 的方法得到行为 embedding（ ），与目标 AD 的 embedding 拼接后送入 MLP 训练 CTR 模型，得到行为的 embedding 结果。

实际业务中，发现两种搜索模式的效果并没有太大差异，而性能上，明显 Hard Search 更有优势，因此线上采用 Hard Search（存储消耗 22TB。。。）

2671176d6fa9ffa762116720a50fddac.png

5.3 精准搜索结构（第二阶段）

该阶段，模型的输入分为 4 部分，用户画像，候选商品，短期行为序列和筛选出的长期行为序列（ ），短期行为序列的信息提取采用 DIEN 的结构。而筛选的长期行为序列 ，因为行为发生时间与当前有一定距离，作者单独使用的 attention 结构去提取特征。


作者引入行为发生时间与当前时刻的时间差信息 ，并编码成 embedding（ ），与行为序列的 embedding（ ）做拼接，作为长期行为节点的 embedding（ ）。然后利用 multi-head attention 的机制提取 emebdding 特征送入 MLP，即

774dcc9fbd638e0630e7b48b2b4fc8c7.png

其中

5d3da289e7ad31668191cdf2cd1d5fe4.png

整体的 Loss 为两阶段 loss 的加权和（第一阶段采用 hard search 时 ，否则 ）

160811d318d83d95f0549d610c16f69f.png


5.4 优缺点

1. 从实验看，SIM 基本能满足工业界对用户长期兴趣提取的要求，对比 DIEN，模型在对长期兴趣的提取效果是显著的。如下左图，横坐标表示的是用户当前时刻点击了某类别商品与上一次点击该类别商品的时间差，曲线表示样本分布情况，可以看到点击样本的 基本在 14 天以内。直方图表示对比 DIEN，SIM 的 AUC 提升情况，可以看到对于命中长期兴趣的点击样本，SIM 的效果远优于 DIEN。

2. 时延方面，SIM 因为要处理 1w+ 的序列信息，性能比 MIMN 要弱一些，但18ms的时延也基本满足实时性的要求。

3. SIM 号称能够处理的序列长度是 54000，对于阿里广告业务而言，相当于 180 天的广告行为，已基本覆盖用户长期兴趣建模所需的时间长度。


ae952f0dc2335dbcf7b9e895554f7f5a.png

709b83b74d9d3949f1e29e72d4b47e71.png

DSIN [14][15]

6.1 动机的目标

这篇论文没有从提取长期行为的角度出发，而是在时间间隔上做文章。DIEN 直接将 14 天的行为无差别的拼接，没有考虑 session 的概念，但是用户的行为，在不同的 Session 中有明显差异。如下图，作者将行为间隔不超过 30min 的部分归纳为一个 session，发现，同一个 session 内，用户点击的商品具有明显的指向性，而不同 session 间，用户的点击行为有明显差异。

6207adfac5aa84ea23ec3b439660e890.png


6.2 创新点

针对这一现象，作者将行为划分为多个 session，并提出兴趣抽取、兴趣交互（序列）、兴趣激活层 3 部分。

45db328c6c9db8351eddc7f5a3641ff5.png

1. 兴趣抽取（Session Inerest Extractor Layer）

该部分作者使用 transformer 的结果，首先引入了 bias-encoding（会对每个 session，每个行为节点的位置，每个 embedding-bit 位构建全局共享的 embedding），即

ade3326b91a6784d2af5de6e58b059c2.png

其中，K 是 session 的个数，T 是每个 session 内行为节点的个数，C 是每个行为节点的 embedding 大小。

则 transformer 的输入为行为序列与 bias-encoding 的相加结果，即  。

接着通过 multi-head self-attention 的机制，得到多个兴趣结果（ ）。

2. 兴趣交互（Session Inerest Interacting Layer）

该层作者提出通过 Bi-LSTM 的结构提取兴趣序列信息， 。

3. 兴趣激活（Session Inerest Activating Layer）

借鉴 DIN、DIEN 的思想，将兴趣、序列信息分别和目标 AD 做 Attention，加权求和后得到 MLP 的输入，即

  • 对于兴趣结果，有：，其中

    402 Payment Required

    。

  • 对于序列结果，有：，其中 。

c33191dcf29b3dda4b87559fd6d2494d.png

后记

本文回顾了阿里妈妈，精排阶段-用户兴趣模型的发展过程，GWEN->DIN->DIEN->MIMN->SIM->DSIN [16][17]。这一系列的变动，从无用户行为输入，到提取多峰兴趣，再到短期行为特征，最后长短期兴趣提取。基本上，模型也能满足业界对兴趣建模的大部分需求。

但实际应用中，SIM 的检索树要吃 22TB 内存，MIMN 整个模型结构和上线方案都比较复杂（不太优雅）。用户兴趣的提取，除了直接将行为序列灌入模型，是否还有别的补充方法，比如在画像建模时，就直接构建 [时间窗 X 类 目 X 行为类型 X 强度] 的商品类目兴趣。虽然从模型的角度看，这种建模会削弱候选 AD 与行为节点的交互，但也能在一定程度补充用户兴趣特征的缺失，同时长期兴趣的构建通过这种模式也会比较稳定。

当前模型仅处理广告点击序列的信息，如果同时考虑用户浏览、加购物车、与商家是否有沟通、其他组件的点击等行为，序列将非常长且多样化，是否还可以设计新的模型进一步优化（或者离线画像帮忙分担，特别是长期兴趣部分）。

outside_default.png

参考文献

outside_default.png

[1] DataFunTalk：阿里新一代Rank技术 https://zhuanlan.zhihu.com/p/442477196

[2] 新智元：【阿里算法天才盖坤】解读阿里深度学习实践，CTR 预估、MLR 模型、兴趣分布网络等 https://zhuanlan.zhihu.com/p/35599271

[3] DIN论文 https://arxiv.org/pdf/1706.06978.pdf

[4] 王喆：推荐系统中的注意力机制——阿里深度兴趣网络（DIN） https://zhuanlan.zhihu.com/p/51623339

[5] DIEN 论文 https://arxiv.org/pdf/1809.03672.pdf

[6] yymWater：详解阿里之Deep Interest Evolution Network(AAAI 2019) https://zhuanlan.zhihu.com/p/50758485

[7] Evan：深入理解lstm及其变种gru https://zhuanlan.zhihu.com/p/34203833

[8] MIMN 论文 https://arxiv.org/pdf/1905.09248.pdf

[9] 被包养的程序猿丶：阿里妈妈长期用户历史行为建模——MIMN模型详解 https://zhuanlan.zhihu.com/p/94432395

[10] 呜呜哈：记忆网络之Neural Turing Machines https://zhuanlan.zhihu.com/p/30383994

[11] 徐阿衡：论文笔记 - 从神经图灵机 NTM 到可微分神经计算机 DNC https://zhuanlan.zhihu.com/p/33852794

[12] SIM 论文 https://arxiv.org/pdf/2006.05639.pdf

[13] 梦醒潇湘：[SIM论文] 超长兴趣建模视角CTR预估：Search-based Interest Model https://zhuanlan.zhihu.com/p/154401513

[14] DSIN 论文 https://arxiv.org/pdf/1905.06482.pdf

[15] Ethan Wong：DSIN（Deep Session Interest Network ）分享 https://zhuanlan.zhihu.com/p/89700141

[16] kylin：深度兴趣网络DIN-DIEN-DSIN https://zhuanlan.zhihu.com/p/101541576

[17] 小范同学：推荐系统CTR预估：用户兴趣建模 https://zhuanlan.zhihu.com/p/416350009

更多阅读

e717c8ad213501f090075d246c17da83.png

5da360bfd561003df5ec85a4230a8a8d.png

5abc8d3b9c8115c4a1f03eb2cd9646b6.png

2577a665128cf046c5ed89a5cae52f1a.gif

#投 稿 通 道#

 让你的文字被更多人看到 

如何才能让更多的优质内容以更短路径到达读者群体，缩短读者寻找优质内容的成本呢？答案就是：你不认识的人。

总有一些你不认识的人，知道你想知道的东西。PaperWeekly 或许可以成为一座桥梁，促使不同背景、不同方向的学者和学术灵感相互碰撞，迸发出更多的可能性。 

PaperWeekly 鼓励高校实验室或个人，在我们的平台上分享各类优质内容，可以是最新论文解读，也可以是学术热点剖析、科研心得或竞赛经验讲解等。我们的目的只有一个，让知识真正流动起来。

📝 稿件基本要求：

• 文章确系个人原创作品，未曾在公开渠道发表，如为其他平台已发表或待发表的文章，请明确标注 

• 稿件建议以 markdown 格式撰写，文中配图以附件形式发送，要求图片清晰，无版权问题

• PaperWeekly 尊重原作者署名权，并将为每篇被采纳的原创首发稿件，提供业内具有竞争力稿酬，具体依据文章阅读量和文章质量阶梯制结算

📬 投稿通道：

• 投稿邮箱：hr@paperweekly.site 

• 来稿请备注即时联系方式（微信），以便我们在稿件选用的第一时间联系作者

• 您也可以直接添加小编微信（pwbot02）快速投稿，备注：姓名-投稿

9430e9c31b55c249b3dd7b88c6da2007.png

△长按添加PaperWeekly小编

🔍

现在，在「知乎」也能找到我们了

进入知乎首页搜索「PaperWeekly」

点击「关注」订阅我们的专栏吧

·

3949fb757f49eeb6336fad49741d5738.png

PaperWeekly
关注
精通推荐算法29：行为序列建模之MIMN— 记忆网络建模长周期行为序列
谢杨易的博客
09-07 1160
MIMN是工业界第一个解决长周期行为序列建模问题的模型，它巧妙结合了工程和算法，在DIEN的基础上，进一步显著提升了业务效果。其核心点主要有：通过UIC将行为序列建模从主模型中解耦出来，从而大大提升了主模型的推理速度，并使得长周期序列建模成为了可能。这是所有离线建模方案的核心。序列表征的更新机制十分巧妙。用户发生行为时，触发序列表征重新计算和更新。既避免了每次请求就更新带来的冗余计算量，也避免了每小时或每分钟定时更新带来的延迟。NTM记忆网络有效解决了GRU长程序列梯度弥散问题。
DSIN:IJCAI'19论文“用于点击率预测的深层兴趣网络”的代码
05-10
深度会话兴趣网络用于点击率预测 用于点击率预测的纸质深层兴趣网络广告数据集的实验代码（ ） ，吕富玉，沉卫晨，王梦涵，孙飞，朱瑜，杨克平。 在第28届国际人工智能联合会议（IJCAI 2019）的会议记录中 操作环境 请使用pip install -r requirements.txt在python3.6设置操作环境。 下载数据集并进行预处理 下载数据集 下载数据集 将文件解压缩到raw_data目录中 数据预处理 运行0_gen_sampled_data.py ，按用户采样数据 运行1_gen_sessions.py ，为每个用户生成历史会话序列 培训与评估 火车DIN模型 运行2_gen_din_input.py ，生成输入数据 运行train_din.py 训练DIEN模型 运行2_gen_dien_input.py ，生成输入数据（对负样本进行采样可能需要很长时间。） 运行
【技术分享】七：搜索排序—排序模型
qq_42933419的博客
03-20 791
本文原作者：彭江军，经授权后发布。 原文链接：https://cloud.tencent.com/developer/article/1533656 导语: 模型是机器学习三问里面的怎么去学的环节。是确定特征与因变量之间关系最为核心的步骤。这部分涉及到模型的选择，和优化目标以及损失函数的选取。排序由第一节讲到，LTR有三个模式，分别是pointwise, pairwise,listwise。...
NLP自然语言处理系列- week7- 检索模型（精排）（8）
段智华的博客
02-25 505
NLP自然语言处理系列- week7- 检索模型（精排）（8） 检索模型（精排）排序模块步骤： 处理数据 ⼈⼯特征 深度匹配 排序 整合 目录 处理数据 处理数据
苗大东：京东基于强化学习的电商搜索排序算法
DataFun_Hoh的博客
05-17 1172
导读： 电商场景的搜索排序算法根据用户搜索请求，经过召回、粗排、精排、重排与混排等模块将最终的结果呈现给用户，算法的优化目标是提升用户转化。传统的有监督训练方式，每一步迭代的过程中优化当前排序结果的即时反馈收益。但是，实际上用户和搜索系统之间不断交互，用户状态也在不断变化，每一次交互后排序结果和用户反馈也会对后续排序产生影响。因此，我们通过强化学习来建模用户和搜索系统之间的交互过程，优化长期累积收益。目前这个工作已经在京东全量上线。 今天的介绍会围绕下面五点展开： 搜索排序场景及算法概述 强化学习在搜..
基于Bert的文本精排算法
donruo的博客
09-08 1081
以上就是对bert模型精排算法的探索与实践，总的来说大体框架还是没太大的变化，主要是数据集构造和loss函数的选择，数学公式还是有一点复杂，如果数据集质量不够好还是不推荐使用，因为最终效果指标不好界定，top1和top2区别也不一定太大，收益不是特别明显。将Bert计算出的logits当作相关性r，带入到上面的loss中训练就行了，在实际过程中，还有一个对相关性大小的界定，模型输出的r为0-1之间的数值，阈值定在多少，相关性为1，会影响最终模型的效果，因此需要在测试集上进行探索。，r表示相关性的数值。
CNN-and-MLP-exercises:Udacity的CNN和MLP练习
03-07
标题中的“CNN-and-MLP-exercises”表明这是一个关于卷积神经网络（Convolutional Neural Networks, CNN）和多层感知机（Multilayer Perceptrons, MLP）的实践项目，源自Udacity在线教育平台。这个项目可能是为了...
matlab代码粒子群算法-CPSOGSA-for-MLP-Training:CPSOGSA用于MLP培训
05-27
在`CPSOGSA-for-MLP-Training-master`文件夹中，可能包含以下关键文件： 1. `CPSOGSA.m`: 实现CPSOGSA算法的核心代码，包括初始化、更新规则以及适应度计算等。 2. `train_MLP.m`: MLP的训练函数，与CPSOGSA算法...
matlab批量替换代码-mlp-fashion-mnist:mlp-fashion-mnist
05-22
matlab批量替换代码时尚MNIST Fashion-MNIST是的商品图片数据集-包含60,000个示例的训练集和10,000个示例的测试集。 每个示例都是一个28x28灰度图像，与来自10个类别的标签相关联。 我们打算将Fashion-MNIST用作原始...
Audio-Classification-using-CNN-MLP:使用深度学习（MLP、CNN）的多类音频分类
05-29
使用 CNN-MLP 的音频分类 使用深度学习（CNN、MLP）的多类音频分类 引文 如果你觉得这个项目有帮助，请引用如下： @software{vishal_sharma_2020_3988690, author = {Vishal Sharma}, title = {{vishalshar/...
离散控制Matlab代码-Forecasting-Solar-Irradiation---NARX-vs-MLP:非线性自回归外生模型与多层感
05-23
这是一项比较研究，在监督的时间序列回归任务中预测太阳辐射水平，对两种算法模型（非线性自回归外生模型（NARX）和多层感知器（MLP））进行了关键评估。 评估这两种算法的变体，以网格搜索的方式改变它们的超参数，...
阿里用户序列建模MIMN
whgyxy的博客
07-30 1093
对于序列建模，实践了机器学习算法与在线服务协同设计的CTR预测系统，理论上可以处理无限长的用户序列。 从服务系统的角度来看，通过设计一个单独的模块用户兴趣中心UIC(User Interest Center)，将用户兴趣模型中最消耗资源的部分与整个模型解耦。UIC维护最新的兴趣状态，对于每个用户，其更新取决于实时的用户行为触发事件，而不是流量请求，因此UIC是无延迟的实时CTR预测。 来自机器学习算法角度看，提出了一种新的基于内存的架构，命名为多通道用户兴趣记忆网络MIMN
MIMN——Multi-channel user Interest Memory network
lily's world
05-16 1094
MIMN——Multi-channel user Interest Memory network
Embedding+MLP
Edward_Legend的博客
11-22 1467
  MLP是 Multilayer perceptron，多层感知机的缩写。感知机是神经元的另外一种叫法，所以多层感知机就是多层神经网络。下面以微软著名的深度学习模型 Deep Crossing 为例来说明 Embedding+MLP 模型的结构和实现方法。   图 1 展示的就是微软在 2016 年提出的深度学习模型 Deep Crossing，微软把它用于广告推荐这个业务场景上。它是一个经典的 Embedding+MLP 模型结构，我们可以看到，Deep Crossing 从下到上可以分为 5 层，分别
【广告推荐】用户行为序列建模（DIN、SIM）
weixin_41888257的博客
03-27 1298
上面 第一步的查找，把lastN物品缩小到 topK，排除掉的物品大概率和候选物品无关（相似度很低），排除之后几乎不会影响加权平均的结果。最终的 emb 是由各个 lastN 向量 加权得到的，权重是 各个lastN物品 & 候选物品的相似度 alpha。DIN 也是对 lastN 行为的一种建模方法，优于上面一节简单对 各个emb取平均。和DIN没有本质区别，主要区别是 lastN 变成了 topK。计算相似度的方法，如 cos、内积。简单平均 & 注意力机制的 区别。DIN 的本质是注意力机制。
【王喆-推荐系统】(task4)Embedding+MLP模型（模型篇）
发现问题，并解决问题，批判性思维
11-02 1842
（1）（embedding+MLP），但是对于tensorflow不熟悉，还有需要注意特征处理：类别型特征 Embedding 化，数值型特征直接输入 MLP。下一篇task是用pytorch实现的版本。 （2）Embedding+MLP 主要是由 Embedding 部分和 MLP 部分这两部分组成，使用 Embedding 层是为了将类别型特征转换成 Embedding 向量，MLP 部分是通过多层神经网络拟合优化目标。具体来说，以微软的 Deep Crossi
DIN模型和SIM模型原理与实践
qq_41502322的博客
10-17 1173
对比DIN，user侧的。被换成了上一步查找到的。
行为序列建模：MIMN系列1——原理初探和源码解析
最新发布
2401_85375186的博客
05-31 732
下面先从模型的输入开始了解MIMN，左侧橙色是增存量序列构建记忆的过程，右侧是在线部署时的预测部分。模型架构对于增存量记忆构建部分，输入是历史所有序列元素，每个元素包括物品id和物品的其他上下文信息拼接的结果，序列元素输入的目的是维护了一个M矩阵和S矩阵，对于每一个用户都有它对应的M和S矩阵，每来一个新的序列元素，都会对M和S进行更新M矩阵：负责对用户原始历史行为序列信息的表征，它通过NTM神经图灵机实现，通过读头和写头对NTM的结果进行更新S矩阵。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值