用户序列建模方法总结

最新推荐文章于 2024-04-18 10:22:55 发布

天闲一号

最新推荐文章于 2024-04-18 10:22:55 发布

阅读量1.2k

点赞数

本文链接：https://blog.csdn.net/weixin_37838083/article/details/108150006

版权

用户序列建模方法

摘要：

推荐系统用户的可用特征可以归类：

静态特征：用户年龄、属性、地域等特征。
动态特征：用户行为序列。

这里主要是对各种常见的算法对动态特征的建模进行总结
主要包括了：

池化：DNN for youtube，deep&wide
attention： DIN，DIEN
序列思路：GRU4REC，LSTM等
多兴趣特征建模：MIND
基于强化学进行建模的法

简介

用户行为序列特征是推荐系统中重要的动态变化的特征。用户的行为序列可以明显的加强不同样本之间的区分度；在推荐系统中，用户的兴趣是动态变化的，因此，仅仅依靠静态特征进行产出推荐列表，不能满足用户兴趣的实时性保障。
目前，对用户的行为序列进行建模的思路可以分为以下三类：

池化方式：最典型的池化方式就是sum、mean等，即将用户过去一段时间的行为看作一个无序的序列。例如，谷歌的DNN for youtube，deep&wide网络等。
- 这种方法简便易行，但是他忽略用户行为序列的顺序等信息
注意力机制：这种方式可以认为是采用了加权平均的池化方式。参考了NLP中常见的各种注意力机制，利用输入的行为序列，计算序列各行为的权重，考虑序列行为中不同行为的贡献峰值。例如，Deep interest network，deep interest evlovenetwork等。然鹅，还是没有考虑行为序列的先后方式。
序列的网络结构建模方式：这种方式将用户行为看作一个带有时间属性的序列，一般来说通过lstm，gru，transformer等可以考虑位置信息的组件来进行建模。
目前也有研究认为用户具有多兴趣特征，而单一的hidden（lstm/attention/池化后出现来embedding）只能代表用户一个兴趣点。这些方式对用户的多兴趣表达进行了建模。 Multi-Interest Network with Dynamic Routing。

算法详解

一、 Pooling套路的算法

1. DNN for youtube

引自《Deep Neural Networks for YouTube Recommendations》

引用自《Deep Neural Networks for YouTube Recommendations》

简单来讲就是：

根据用户的播放历史产出hunderds from millions 的候选集。候选集筛选网络通过协同过滤CF来完成。在youtube这个上面用了，user-based的协同过滤。“a matrix factorization approach trainedunder rank loss”
之后在召回的数百的list上进行ranking，rank网络通过用户行为序列特征、用户静态特征、vedio的特征输出分值，然后根据分值高低进行排序。

1.1 问题描述

在yotube的这个推荐算法里将推荐问题变成了多分类问题，因而，该问题可以由如下式子描述，其中 $P(w_t=i | U,C)$ 代表用户 $U$ 在候选集 $C$ 中会去video $i$ 的概率：
$P(w_t=i | U,C) = \frac{s_i}{\sum_{j=1}^{N}{s_j}}$
where:
$s_i = e^{v_j*u}$