推荐系统炼丹笔记：阿里边缘计算+奉送20个推荐系统强特

最新推荐文章于 2021-05-21 08:44:06 发布

炼丹笔记

最新推荐文章于 2021-05-21 08:44:06 发布

阅读量297

点赞数

分类专栏：炼丹笔记文章标签： python 机器学习人工智能 java 大数据

本文链接：https://blog.csdn.net/m0_52122378/article/details/111157104

版权

炼丹笔记专栏收录该内容

102 篇文章 26 订阅

订阅专栏

作者：一元  
公众号：炼丹笔记

背景

推荐系统(RS)已经成为大多数web应用程序的关键模块。最近，大多数RSs都是基于云到边缘框架的瀑布式的，其中推荐的结果通过在云服务器中预先计算传送到edge（例如用户移动）。尽管有效，但云服务器和边缘之间的网络带宽和延迟可能会导致系统反馈和用户感知的延迟。因此，edge上的实时计算可以帮助更精确地捕捉用户的偏好，从而提出更令人满意的建议。本文首次尝试设计和实现边缘推荐系统（EdgeRec），它实现了实时的用户感知和实时的系统反馈。此外，本文还提出了基于行为注意网络的异构用户行为序列建模和上下文感知重排序，以捕捉用户的不同兴趣并相应地调整推荐结果。在淘宝主页feeds的离线评测和在线性能测试结果表明了EdgeRec的有效性。

之前框架

如上图所示，手机端先向云端服务器初始化一个页面请求，matching和ranking模型对应页面请求生成一个排序商品集合，而这套框架有诸多问题：

系统反馈延迟，在相邻的两个页面请求，云端的RS无法实时调整推荐结果，所以较难满足用变化的需求。
用户感知延迟，RS模型部署在云端，往往会因为网络延迟导致1min种左右的延迟，很难抓住用户的实时需求。网络的带宽会进一步限制当前RS捕捉端上用户的大量的和详细的行为细节。

基于上述的情况，我们采用边缘计算来满足实时的性能要求。EdgeRec可以获得实时用户感知和实时的系统反馈。

系统

系统概览

Client Native (CN)：初始化页面请求并且将从RS服务器中返回的对应候选商品的特征进行缓存，从RS返回的商品个数被设置为100，然后CN收集用户对曝光商品的行为并且除法模型服务模块，在接收到候选商品的rank之后，CN就会调整商品的UI展示。
Model Serving（MS)：当由CN触发时，MS对从CN处接收到的用户行为和候选商品进行特征工程，然后基于神经网络的模型，其目的是通过用户行为建模来及时捕捉用户行为，并对上下文感知的Reranking以及时响应用户，MS向云发送日志，并将候选商品的排名结果返回给CN;
Recommender System(RS): 响应来自CN的页面请求，并为候选项提供初始排序。此外，它还可以在响应CN之前从云上的key-value存储中查找MS模块中的模型需要的商品特征和嵌入;
Offline Training(OT): 在模型训练之前，模块首先从MS中收集日志并构造样本。然后，将训练后的模型分为三个部分:(1).用户行为建模子模型;(2).上下文感知重排子模型;(3).嵌入矩阵(如类别和品牌)。最后，将前两个子模型部署在MS模块上，嵌入矩阵作为key-value形式保存在云上

算法模块

问题定义

给定云端现有RS得到的初始排序商品列表Sr，对于在模型服务模块的reranking请求r∈R,我们的目标是寻找到一个得分函数:

商品i的特征是xi;
从初始模型得到的局部排序s;
当前推荐环境下的实时用户行为上下文C;

Reranking模型考虑在局部排序上下文,局部排序上下文表示为初始排序候选项之间的列表式交互，可以用RNN或Transformer来建模。在这里,我们认为实时的用户行为上下文对于重排序问题也很重要,特别是在瀑布式推荐场景中，而以前很少有人考虑过这一点。

特征系统

1. Insight

之前很多模型:

只考虑用户的直接正反馈，而忽略间接的负反馈，例如skipping或者删除操作等。
只考虑与用户交互的商品的特性(例如类别和品牌等）,用户的行为则被忽略了。

此外，虽然用户没有点击某个项目，但对该项目曝光的操作（如滚动速度和曝光）可以代表该项目被视为“负面反馈”的程度。有时，如果用户长时间关注某个项目而不单击它，它不能绝对表明他/她不喜欢它。特别是在目前的瀑布流RS中，商品的显示信息越来越丰富，比如大图片、各种关键词甚至自动播放的视频，点击已经成为一些用户非常“奢侈”的正面反馈。

基于我们提出的EdgeRec系统，所有的用户行为特征都是在边缘（即用户的移动设备）上收集、提取和消费的，与目前基于云到端的RS系统相比，这可以突破网络延迟和带宽的限制。因此，可以结合大量详细的行为来更实时地推断用户偏好。另外，用户的原始行为在自己的移动设备上进行处理和利用，在一定程度上缓解了用户的数据隐私问题。

基于上面的讨论，我们发现这项工作的意义是非常重大的,新的特征工程：