MIMN——Multi-channel user Interest Memory network

已于 2022-05-16 14:20:48 修改
阅读量1k 收藏 1
点赞数 1
分类专栏： 机器学习 文章标签： 深度学习 机器学习 算法
于 2022-05-16 14:20:29 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lili555521/article/details/120939346
版权
MIMN是一种解决用户长序列建模在CTR预估中的问题的算法，通过借鉴NTM思想并优化，解决了存储和线上耗时问题。MIMN通过压缩序列并使用外部存储器（User Interest Center）来捕捉和更新用户兴趣，从而提高模型对长期兴趣的利用效率。
摘要由CSDN通过智能技术生成

MIMN——Multi-channel user Interest Memory network

上周敏哥写了，LTR: 从RankNet到LambdaMart 作为最早的文章预览读者，跟敏哥讨论了一些其中的问题，例如最小化熵与最大化效用的关系。发现一个事情：只是阅读，不写不细扣，知识总是零散着，大脑觉得懂了，但是实际细节很容易没看到没注意。因此自己也要开始工作学习的记录行程了。

本篇原文：《Practice on Long Sequential User Behavior Modeling for Click-Through Rate Prediction》

文章目录

1. what

本文介绍的是用户长序列建模在CTR预估领域的使用。
文中长序列：用户交互物品数量超过50。

2. why

2.1 为什么要对用户长序列建模？
  • 使用短序列建模容易带偏系统，信息不全面。用户兴趣多样，例如在淘宝上 我们对各种品类都有自己的兴趣。而短序列往往兴趣较为集中，遗忘了用户的长期兴趣。
  • 有线下评估，随着使用的用户序列长度增加，auc相应也在上涨。

2.2 用户长期行为建模方法现状

  • pooling method，以sum/average pooling 以及DIN/DIEN为代表.

  • sequence method 以LSTM/GRU为代表

2.3 存在的问题
  • storage ： 无论是以上哪种方法，都需要将用户原始的行为序列存储，对于存储是极大的开销（TB级别）
  • latency : 如果存储可以解决，那问题还好，更加重要的是线上响应时间，随着序列长度的增加，线上耗时基本是线性增加，这是不能接受的。
2.4 MIMN 如何解决这两个问题
  • 借鉴memory network——NTM(神经图灵机）的思想，并优化,即MIMN
  • 独立部署UIC（User Interest Cent
最低0.47元/天 解锁文章
赵小丽-programer
关注
专栏目录
Controllable Multi-Interest Framework for Recommendation
weixin_41697507的博客
07-23 3486
Controllable Multi-Interest Framework for Recommendation ABSTRACT Recently, neural networks have been widely used in e-commerce recommender systems, owing to the rapid development of deep learning. We formalize the recommender system as a sequential recom
行为序列建模：MIMN系列1——原理初探和源码解析
2401_85375186的博客
05-31 714
下面先从模型的输入开始了解MIMN，左侧橙色是增存量序列构建记忆的过程，右侧是在线部署时的预测部分。模型架构对于增存量记忆构建部分，输入是历史所有序列元素，每个元素包括物品id和物品的其他上下文信息拼接的结果，序列元素输入的目的是维护了一个M矩阵和S矩阵，对于每一个用户都有它对应的M和S矩阵，每来一个新的序列元素，都会对M和S进行更新M矩阵：负责对用户原始历史行为序列信息的表征，它通过NTM神经图灵机实现，通过读头和写头对NTM的结果进行更新S矩阵。
推荐系统遇上深度学习(八十五)-[阿里]长用户行为序列建模探索:MIMN
abcdefg90876的博客
06-14 2327
本文介绍的论文是《Practice on Long Sequential User Behavior Modeling for Click-Through Rate Prediction...
小红书推荐系统全解析：去中心化内容分发
Kaiyuan_sjtu的博客
08-15 163
小红书作为在国内因种草而声名大噪的社区，伴随用户规模的扩大，已逐渐发展成为多元化的线上社区。众多用户通过笔记来记录和分享自己的生活方式，当前每日可分发的内容多达数十亿，每日新增发布的内容有数百万之多，涵盖图文与视频等形式，这些我们称之为笔记。目前小红书每日可产生数百亿次的曝光量，每日超过一半的用户在小红书内产生互动行为，每日搜索查询量达到亿级。就产品形态而言，小红书现分为双列信息流和视频沉浸流两种...
MIMN用户序列建模
u013385018的专栏
09-28 650
论文下载地址：https://arxiv.org/abs/1905.09248 代码地址：https://github.com/UIC-Paper/MIMN/tree/master/script 1、背景 在CTR预估中，用户历史行为信息是很重要的一类信息，如何利用用户的历史行为信息呢？大致可以分为以下几类方法： 1）pooling-base方法：将用户行为序列中的单个行为作为单独的信号，并通过sum／max／mean pooling等方式来进行聚合，作为用户的兴趣表示。除此之外，DIN通过atten
精通推荐算法29：行为序列建模之MIMN— 记忆网络建模长周期行为序列
最新发布
谢杨易的博客
09-07 1103
MIMN是工业界第一个解决长周期行为序列建模问题的模型，它巧妙结合了工程和算法，在DIEN的基础上，进一步显著提升了业务效果。其核心点主要有：通过UIC将行为序列建模从主模型中解耦出来，从而大大提升了主模型的推理速度，并使得长周期序列建模成为了可能。这是所有离线建模方案的核心。序列表征的更新机制十分巧妙。用户发生行为时，触发序列表征重新计算和更新。既避免了每次请求就更新带来的冗余计算量，也避免了每小时或每分钟定时更新带来的延迟。NTM记忆网络有效解决了GRU长程序列梯度弥散问题。
阿里用户序列建模MIMN
whgyxy的博客
07-30 925
对于序列建模，实践了机器学习算法与在线服务协同设计的CTR预测系统，理论上可以处理无限长的用户序列。 从服务系统的角度来看，通过设计一个单独的模块用户兴趣中心UIC(User Interest Center)，将用户兴趣模型中最消耗资源的部分与整个模型解耦。UIC维护最新的兴趣状态，对于每个用户，其更新取决于实时的用户行为触发事件，而不是流量请求，因此UIC是无延迟的实时CTR预测。 来自机器学习算法角度看，提出了一种新的基于内存的架构，命名为多通道用户兴趣记忆网络MIMN
datagridview实时更新数据_从阿里的User Interest Center看模型线上实时serving方法
weixin_39737951的博客
11-21 67
这里是「王喆的机器学习笔记」的第二十九篇文章。最近写书的时候在总结一些深度学习模型线上serving的主流方法。之前的专栏文章也有所涉及（如何解决推荐系统工程难题——深度学习推荐模型线上serving）。但是看到阿里妈妈去年KDD上的文章 Practice on Long Sequential User Behavior Modeling for Click-Through Rate Predic...
【超长序列建模】万级别：SIM《Search-based User Interest Modeling with Lifelong Sequential Behavior Data for Click
chadlee
08-10 680
这个时候干脆模仿起推荐系统的召回、精排方法，对序列特征再做一次“召回”和“精排”：第一阶段Genral Search Unit（GSU）通过相对粗略的搜索模式，提取行为序列中与候选 AD 较相关的节点，第二阶段Exact Search Unit（ESU）通过精准搜索的模式，得到序列与候选 AD 的关系，并形成 embedding 供 MLP 使用。因为引入的是超长的用户行为序列，用户行为间横跨较长的时间，用户行为的分布是不同的，所以给每个用户行为引入了一个时间状态属性。来表达每个行为的时间状态属性。...
2020-KDD-Controllable Multi-Interest Framework for Recommendation
Dive的博客
03-21 1144
2020-KDD 阿里 多兴趣 召回 序列推荐，近期工作大多从用户的行为序列中提取出一个统一的嵌入，它不能反映用户在一段时间内的多兴趣。本文提出ComiRec，核心有两个模块： 多兴趣提取：使用胶囊网络或自注意力从用户的行为序列中为用户提取出K个兴趣向量 兴趣聚合：从K个兴趣向量检索出的K×topN个物品中选出最终的K个物品，引入可控制的参数来平衡推荐的准确性和多样性 2 RELATED WORK CF：MF、FM 神经网络RS：NCF、NFM、DeepFM、xDeepFM、DMF、DCN、CMN （
推荐系统遇上深度学习(八十七)-[阿里]基于搜索的用户终身行为序列建模
abcdefg90876的博客
07-19 1505
本文介绍的论文是《Search-based User Interest Modeling with Lifelong Sequential Behavior Data for Click...
阿里拍卖资产推荐算法 召回进展年中总结
淘系技术
06-19 815
阿里拍卖是阿里巴巴旗下拍卖平台，覆盖房产、机动车、土地、债权等类目。召回策略作为推荐场景的第一环，决定了整个推荐系统的上限，目前包含了包括向量召回、I2I、LBS2I、C2I等多路召回。召回的核心目标是尽可能的返回用户所有可能会感兴趣的商品，给到后续粗排、精排、重排环节，最终曝光给用户。与淘宝APP的普通商品不同，大资产商品有其独有的特点。唯一性：每件商品都是唯一的、单库存的，世界上没有两套一模一...
2021-SIGIR-Path-based Deep Network for Candidate Item Matching in Recommenders
Dive的博客
03-22 407
Path-based Deep Network for Candidate Item Matching in Recommenders 2021-SIGIR-阿里、蚂蚁 介绍了工业界主流的两种召回方式及对应的特点，提出PDN整合两种召回方式。 1 INTRODUCTION a matching stage is expected to retrieve a small fraction of relevant items in low latency and computational cost a r
谈谈深度学习中的 Batch_Size
热门推荐
程引的专栏
11-12 14万+
谈谈深度学习中的 Batch_SizeBatch_Size（批尺寸）是机器学习中一个重要参数，涉及诸多矛盾，下面逐一展开。首先，为什么需要有 Batch_Size 这个参数？Batch 的选择，首先决定的是下降的方向。如果数据集比较小，完全可以采用全数据集 （ Full Batch Learning ）的形式，这样做至少有 2 个好处：其一，由全数据集确定的方向能够更好地代表样本总体，从而更准确地朝
深度学习 - 48.SIM Search-based Interest Model 搜索兴趣网络
BITDDD小栈
05-16 1090
Alibaba 序列模型 SIM Search-based Interest Model 搜索兴趣网络论文注解。
2019_AAAI_Multi-Interactive Memory Network for Aspect Based Multimodal Sentiment Analysis
tcn760的博客
05-19 1460
Multi-Interactive Memory Network for Aspect Based Multimodal Sentiment Analysis 论文地址：https://ojs.aaai.org/index.php/AAAI/article/view/3807 1、简介 方面级的情感分析的目标是为了识别一个句子中指定方面的情感极性，它可以分为一下两类： Aspect term：Aspect Term Sentiment Analysis的目标是预测每个实体的情感，实体为输入文本中提到的
论文笔记 Memory Fusion Network for Multi-view Sequential Learning (AAAI2018)
pku_langzi的博客
07-20 5047
这是卡内基梅隆大学与新加坡南洋理工大学在AAAI上发表的一篇利用memory network来处理序列建模的文章。
推荐系统离线模型如何上线
小叮当的博客
03-27 787
文章目录业界的主流模型方法预存推荐结果或Embedding结果 业界的主流模型方法 预存推荐结果或Embedding结果 最简单直接的模型服务方法就是在离线环境下生成对每个用户的推荐结果，然后将结果预存到以Redis为代表的线上数据库中，这样线上环境直接取出预存数据推荐给用户。 优点：无需模型线上推断过程，线下训练平台与线上服务平台完全解耦。可以选择线下任何机器学习工具进行模型训练；线上过程没有复杂的计算，推荐结果延迟性低。 缺点：需要存储User、Item应用场景组合推荐结果，用户物品规模量上来之后，会
Practice on Long Sequential User Behavior Modeling for Click-Through Rate Prediction简析
loserChen的博客
06-24 1918
Practice on Long Sequential User Behavior Modeling for Click-Through Rate Prediction Introduction 文章将用户表现建模分解为两个视角。从服务系统的角度，作者设计了一个用户兴趣中心模块（UIC），UIC维护用户最新的兴趣表示向量。从机器学习算法的角度，作者提出了MIMN（多信道的用户兴趣内存网络），借鉴于...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值