ATRank: An Attention-Based User Behavior Modeling Framework for Recommendation 详解

一、简介

  • 这是阿里巴巴和北大联合发表的一篇论文,在电商环境中,用户会存在多种行为:浏览、购买、收藏商品,领取、使用优惠券,搜索关键词等等。
  • 由于attention具有抓取序列间的内在关系的能力,因此利用attention来对用户不同的行为进行建模,致力于更全面的融合用户的不同行为。
  • 本文针对异构的行为,提出的是一个通用框架,下游任务可以根据业务场景自行设计。

二、模型框架

attention_mask_score_func_20190727

模型主要分为四个部分:

  • Raw Feature Spaces:原始特征,对应多种不同行为
  • Bahavior Embedding Spaces:embedding特征,对应多种不同行为
  • Latent Semantic Spaces:语义空间,将行为映射到多个语义空间
  • Self-Attention Layer:attention建模行为之间的潜在关联
  • DownStream Application Network:下游任务

以下是过程举例图解:每个u11,s11,f11等都是行向量如[0.1, 0.2, …]

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
bi-vldoc是一种用于视觉丰富文档的双向视觉-语言建模方法。 bi-vldoc通过将视觉信息与语言信息结合起来,能够有效地处理视觉丰富的文档。传统的自然语言处理方法通常只处理文本信息,忽视了文档中的视觉元素。而bi-vldoc能够同时考虑文本和图像,并将它们作为输入进行建模,从而更全面地理解和分析文档内容。 bi-vldoc的关键思想是利用双向建模技术。它使用了两个模型:一个是基于视觉的模型,另一个是基于语言的模型。这两个模型相互配合,通过互相补充的方式提高了整体的建模效果。 基于视觉的模型主要用于从图像中提取视觉特征,并将其编码为向量表示。这些向量表示包含了图像的语义信息,能够用于理解图像中的内容。 基于语言的模型主要用于处理文本信息。它能够将文本编码为向量表示,并用于生成关于文本的预测。 在训练时,bi-vldoc使用了大量的带有标注的视觉丰富文档数据集。通过最大化真实标注的概率来训练模型,使其能够根据给定的文档内容生成正确的视觉和语言输出。 bi-vldoc在实际应用中具有广泛的应用前景。例如,在图像描述生成中,它可以根据图像内容生成相关的文本描述。在问答系统中,它可以回答关于图像内容的问题。此外,bi-vldoc还可以应用于文档分类、信息检索等领域,提供更准确和全面的分析和理解能力。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值