推荐系统遇上深度学习(一二三)-[阿里]去噪用户感知记忆网络DUMN

首先祝大家中秋快乐，咱们的系列文章今天终于更新啦！今天给大家带来阿里在RecSys2021上中稿的一篇论文，同样关注的是对用户行为序列的建模。论文两个主要的创新点分别是对隐式反馈的去燥处理以及保存用户层面长期偏好的记忆网络，一起来看一下。

1、背景

CTR预估的一大关键点是通过用户的历史反馈建模用户的兴趣。用户反馈主要分为显式反馈和隐式反馈。显式反馈能够直接反应用户的偏好信息，具有较少的噪声，如用户的评分、收藏、不喜欢等行为，这类行为往往是比较稀少的；隐式反馈如点击/未点击行为，尽管较为丰富，但是存在一定的噪声。如点击行为中存在一定的误点击，而未点击中也有可能包含用户比较感兴趣的物品。过去的研究如DIN、DIEN大都只使用用户的点击行为序列，没有使用更为丰富的用户反馈信息，同时也忽略了对点击这类隐式反馈的去噪处理。

除未考虑噪声外，DIN、DIEN这类方法也难以有效建模用户的长期偏好。这里用户的长期偏好是指用户在很长一段时间内的行为偏好，通常是比较稳定的。目前的方法如DIN、DIEN往往通过增加用户点击序列长度来建模长期偏好，然而却存在以下几方面的问题：
1）首先，出于耗时等性能因素的考虑，DIN、DIEN大都只使用固定长度的用户行为序列。同时，这类方法都认为用户的长期偏好是item层面的，即item反映了用户的长期偏好。相反，论文则认为用户的长期偏好应该是用户层面的，即用户的长期偏好应主要反映在用户画像上。例如，拥有宠物的用户可能会定期购买宠物用品，但这些偏好不一定会反映在短期的用户行为当中。
2）其次，固定长度的历史行为难以刻画用户的长期偏好，那么可以通过记忆网络等方法如MIMN，使用更长的用户历史行为进行刻画。但是这类方法仍然只考虑了用户的点击行为序列，而用户的显式反馈以及未点击行为序列同样可以帮助建模用户的长期偏好。
因此，综合以上两点，用户的长期行为偏好应该结合用户画像以及用户的历史行为进行综合刻画，而行为应同时考虑显式反馈和隐式反馈。

针对以上几点挑战，论文提出了去噪用户感知记忆网络DUMN（denoising user-aware memory network），来对隐式反馈的进行去噪处理以及对用户长期兴趣进行建模。接下来，对DUMN进行详细介绍。

2、DUMN介绍

DUMN的整体结构如下图所示，可以看到，主要包含四个模块：embedding layer、FP layer(Feature Purification Layer)、UMN layer(User Memory Network Layer)和PAIR layer(Preference-aware Interactive Representation Component
)。首先，embedding layer将user特征、ad特征、click序列、unclick序列、like序列和dislike序列作为输入，并转换为对应的embedding；其次，FP layer通过注意力机制对用户多种行为序列进行建模，同时使用正交映射对隐式反馈进行去噪处理；随后，UMN layer通过记忆网络来建模用户的长期兴趣；最后，PAIR layer将用户的短期兴趣和长期兴趣表示进行结合，并通过全连接网络得到CTR预估值。接下来，对DUMN的各模块进行介绍。

2.1 embedding layer

embedding layer将user特征、ad特征、click序列、unclick序列、like序列和dislike序列作为输入，并转换为对应的embedding。其中，user特征和ad特征的输出分别用euser和eitem表示&