Practice on Long Seqhttps:/uential User Behavior Modeling for Click-Through Rate Prediction KDD 2019

本文提出了一种用户兴趣中心(UIC)和多通道用户兴趣记忆网络(MIMN)的联合设计方案,用于处理长序列用户行为数据的CTR预测。UIC模块独立维护用户兴趣状态,实现无延迟更新,而MIMN则通过记忆网络有效捕捉用户兴趣。该方案在存储和延迟上解决了挑战,并已在阿里巴巴展示广告系统中部署。
摘要由CSDN通过智能技术生成

使用UIC (User Interest Center).解决长序列问题(数千长度)。 tensorflow的代码

知乎解答

摘要

本文直面长序列用户行为建模的挑战,介绍了我们与机器学习算法和在线服务系统共同设计的CTR预测任务的实践。(I)从服务系统的角度出发,通过设计一个独立的模块UIC(User Interest Center),将用户兴趣建模中最耗费资源的部分从整个模型中解耦出来。UIC维护每个用户的最新兴趣状态,其更新取决于实时用户行为触发事件,而不是流量请求。因此,UIC对于实时CTR预测是无延迟的。(Ii)从机器学习算法的角度出发,提出了一种基于记忆的多通道用户兴趣记忆网络MIMN(Multi-Channel User Interest Memory Network),用于从长序列行为数据中捕捉用户兴趣,取得了优于现有模型的性能。MIMN通过UIC模块以增量方式实现。

从理论上讲,UIC和MIMN的协同设计方案使我们能够处理无限长度的顺序行为数据的用户兴趣建模。通过模型性能和系统效率的比较,证明了所提方案的有效性。据我们所知,这是首批能够处理长度可达数千的长顺序用户行为数据的工业解决方案之一。它现在已经部署在阿里巴巴的展示广告系统中。

介绍

在深度学习的推动下,针对用户兴趣建模的深度CTR模型被提出,其框架设计巧妙,达到了最先进的水平。这些模型大致可分为两类:(I)基于汇集的体系结构[4,8,31],它将用户的历史行为视为独立的信号,并使用和/最大/注意力等汇集操作来汇总用户兴趣;(Ii)顺序建模体系结构[21,30]&#x

bi-vldoc是一种用于视觉丰富文档的双向视觉-语言建模方法。 bi-vldoc通过将视觉信息与语言信息结合起来,能够有效地处理视觉丰富的文档。传统的自然语言处理方法通常只处理文本信息,忽视了文档中的视觉元素。而bi-vldoc能够同时考虑文本和图像,并将它们作为输入进行建模,从而更全面地理解和分析文档内容。 bi-vldoc的关键思想是利用双向建模技术。它使用了两个模型:一个是基于视觉的模型,另一个是基于语言的模型。这两个模型相互配合,通过互相补充的方式提高了整体的建模效果。 基于视觉的模型主要用于从图像中提取视觉特征,并将其编码为向量表示。这些向量表示包含了图像的语义信息,能够用于理解图像中的内容。 基于语言的模型主要用于处理文本信息。它能够将文本编码为向量表示,并用于生成关于文本的预测。 在训练时,bi-vldoc使用了大量的带有标注的视觉丰富文档数据集。通过最大化真实标注的概率来训练模型,使其能够根据给定的文档内容生成正确的视觉和语言输出。 bi-vldoc在实际应用中具有广泛的应用前景。例如,在图像描述生成中,它可以根据图像内容生成相关的文本描述。在问答系统中,它可以回答关于图像内容的问题。此外,bi-vldoc还可以应用于文档分类、信息检索等领域,提供更准确和全面的分析和理解能力。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值