【推荐系统论文】Wide & Deep Learning for Recommender Systems

周周冲冲冲

已于 2023-08-31 19:09:50 修改

阅读量140

点赞数

分类专栏：推荐系统论文阅读文章标签：算法推荐算法

于 2023-08-31 18:51:49 首次发布

本文链接：https://blog.csdn.net/qq_46053016/article/details/132584978

版权

推荐系统论文阅读专栏收录该内容

1 篇文章 0 订阅

订阅专栏

基础知识

召回算法概述

在这里插入图片描述

排序算法概述

在这里插入图片描述

特征交互也叫特征组合，通过将两个或多个特征相乘，来实现对样本空间的非线性变换，增加模型的非线性能力。从本质上讲，特征交叉是利用非线性映射函数将样本从原始空间映射到特征空间的过程。因此，可以认为，特征交叉的意义就在于提高模型的非线性建模能力，提升模型的效果。

组合两个（或更多个）特征是使用线性模型来学习非线性关系的一种聪明做法。假设不同地区城市的房价预测场景下，特征工程中，用户所在城市的基础属性中有关地理位置特征，包含经度，维度等值，如果我们只使用经度特征进行学习，那么该模型可能会发现特定纬度（或特定纬度范围内，因为我们已经将其分桶）的城市街区更可能比其他街区住房成本高昂。但是，如果我们将经度与纬度特征组合，产生的组合特征则代表一个明确的城市街区。如果模型发现某些城市街区（位于特定纬度和经度范围内）更可能比其他街区住房成本高昂，那么这将是比单独考虑两个特征更强烈的信号。

论文精读

论文信息

在这里插入图片描述

摘要

具有非线性特征变换的广义线性模型被广泛用于具有稀疏输入的大规模回归和分类问题。通过广泛的跨产品特征转换来记忆特征交互是有效和可解释的，而泛化则需要更多的特征工程工作。由于特征工程较少，深度神经网络可以通过对稀疏特征学习的低维密集嵌入，更好地泛化到未见过的特征组合。然而，当用户-物品交互是稀疏和高秩的时，带有嵌入的深度神经网络可能会过度泛化并推荐相关性较低的物品。在本文中，作者提出了Wide & Deep learning——联合训练的广义线性模型和深度神经网络——来结合推荐系统的记忆和泛化的好处。作者在Google Play(一个拥有超过10亿活跃用户和100多万应用的商业移动应用商店)上制作并评估了该系统。在线实验结果表明，与Wide -only和Deep -only模型相比，Wide & Deep模型显著增加了应用程序获取。作者也在TensorFlow中开源了实现。

特征工程是将原始数据转化成更好的表达问题本质的特征的过程，使得将这些特征运用到预测模型中能提高对不可见数据的模型预测精度

泛化能力
就是通过数据训练学习的模型，拿到真实场景去试，这个模型到底行不行，如果达到了一定的要求和标准，它就是行，说明泛化能力好，如果表现很差，说明泛化能力就差。为了更好的理解泛化能力，这里引入三种现象，欠拟合、过拟合以及不收敛。泛化能力的本质就是反映模型有没有对客观世界做真实的刻画，还是发生了过拟合。
考试成绩差的同学，有这三种可能：
一、泛化能力弱，做了很多题，始终掌握不了规律，不管遇到老题新题都不会做，称作欠拟合；
二、泛化能力弱，做了很多题，只会死记硬背，一到考试看到新题就蒙了，称作过拟合；
三、完全不做题，考试全靠瞎蒙，称作不收敛。

引言

推荐系统可以看作是一个搜索排序系统，其中输入查询是一组用户和上下文信息，输出是一个item排序列表。给定一个查询，推荐任务是在数据库中找到相关的item，然后根据某些目标(如点击率或购买率)对item进行排序。

与一般搜索排序问题类似，推荐系统面临的一个挑战是同时实现Memorization和Generalization。

Memorization可以粗略地定义为学习频繁出现的item或特征，并利用历史数据中可用的相关性。
Generalization另一方面，泛化是基于相关的传递性，并探索新的特征组合

在本文中，作者提出了Wide & Deep学习框架，通过联合训练线性模型组件和神经网络组件，在一个模型中实现记忆和泛化，如图所示。

模型结构

wide部分

在这里插入图片描述
特征集包括原始输入特征和转换后的特征，最重要的变换之一是cross-product transformation(原始特征的交互特征)，定义为:
Cki是一个bool变量表示第i个特征是否在第k个转换特征上

优化器：
传统模型：梯度下降
FTRL（Follow the Regularized Leader）是在线学习 (Online Learning) ，代表了一系列机器学习算法，特点是每来一个样本就能训练，能够根据线上反馈数据，实时快速地进行模型调整，使得模型及时反映线上的变化，提高线上预测的准确率。FTRL正是集成了FOBOS和RDA的优势而生成的。

deep部分

在这里插入图片描述
一个前向反馈的神经网络

优化器：AdaGrad

Wide & Deep Model

在这里插入图片描述

系统实施

在这里插入图片描述

实验结果

在这里插入图片描述
线上实验+离线实验

结论

记忆和泛化对推荐系统都很重要。广义线性模型可以使用交叉积特征变换有效地记忆稀疏特征交互，而深度神经网络可以通过低维嵌入推广到以前未见过的特征交互。本文提出的the Wide & Deep learning学习框架来结合这两种模型的优势。作者在大型商业应用商店Google Play的推荐系统上制作并评估了该框架。在线实验结果表明，Wide & Deep模型具有良好的应用前景

参考博客

https://zhuanlan.zhihu.com/p/457853657
https://blog.csdn.net/qq_41877184/article/details/113902481
https://zhuanlan.zhihu.com/p/494715594
https://zhuanlan.zhihu.com/p/29920135