传统机器学习和前沿深度学习推荐模型演化关系

本文来自王喆老师《深度学习推荐系统》一书,如果有一定的推荐系统基础的话,建议读一读,当然如果只是初学者的话还是建议从基础的开始学起,比如《推荐系统开发实战》。

传统机器学习推荐模型演化

传统机器学习推荐模型演化

简单讲,传统推荐模型的发展主要由以下几部分组成

协同过滤算法族

即上图中蓝色部分,协同过滤是推荐系统的首选模型,从物品相似度和用户相似角度出发,衍生出了ItemCF和UserCF两种算法。为了使协同过滤衍生出矩阵分解模型(Matrix Factorization,MF),并发展出矩阵分解的各分支模型。

逻辑回归模型族

协同过滤仅利用用户和物品之间显式或者隐式反馈信息,逻辑回归能够利用和融合更多用户、物品和上下文特征。从LR模型衍生出的各种模型同样“枝繁叶茂”,包括增强了非线性能力的大规模分片线性模型(Large Scale Piece-wise Linear Model,LS-PLM),由逻辑回归发展出来的FM模型,以及与多种不同模型配合使用后的组合模型等。

LS-PLM模型是阿里巴巴曾经使用的主流推荐模型,本质上,LS-PLM可以看作是对逻辑回归的自然推广,他在逻辑回归的基础上采用了分而治之的思路,先对样本进行分片,而在样本分片中应用逻辑回归进行CTR预估。

比如在电商领域要预估女性受众点击女装广告的CTR,那么显然我们不希望把男性用户点击数码类的样本数据也考虑进来,因为这些样本不仅与我们要训练的模型目标无关,甚至会在模型训练过程中扰乱相关特征的权重,为了让CTR模型对不同用户群体、不同使用场景更加具有针对性,其采用的方法是先对全量样本进行聚类,再对每个分类实施逻辑回归进行CTR预估。LS-PLM的思路就来自于此。

LS-PLM的数学形式为:

首先用聚类函数对样本进行分类(这里的采用了softmax函数对样本进行多分类),再用LR模型计算样本在分片中具体的CTR,然后将二者相乘后求和。

其中超参数 “分片数” 可以较好的平衡模型的拟合和推广能力。时,LS-PLM退化为LR,越大,模型的拟合能力越强。阿里给出的的经验值为12。

因子分解机模型族

因子分解机模型在传统的逻辑回归的基础上,加入了二阶部分,使模型具备了进行特征组合的能力,更进一步,在因子分解机基础上发展出来的域感知因子分解机(Field-aware Factorization Machine,FFM)则通过加入特征域的概念,进一步加强了因子分解机特征交叉的能力。

组合模型

为了融合多个模型的优点,将不同模型组合使用时构建推荐模型常用的方法,Fackbook提出的GBDT+LR组合模型是业界影响力较大的组合方式,此外,组合模型体现出的特征工程模型化的思路,也成为了深度学习推荐模型的引子和核心思想之一。

前沿深度学习推荐模型演化

前沿深度学习推荐模型演化

改变神经网络的复杂程度

从最简单的单层神经网络模型(AutoRec),到经典的深度神经网络结构(Deep Crossing),其主要的进化方式在于---增加了深度神经网络的层数和结构复杂度。

改变特征交叉方式

这类模型的主要改变在于丰富了深度学习网络中的特征交叉的方式。例如,改变了用户向量和物品向量互操作方式的NCF(Neural Collaborative Filtering,神经网络协同过滤),定义了多种特征向量交叉操作的PNN(Product-based Neural Network,基于积操作的神经网络)模型。

组合模型

这类模型主要是指Wide&Deep模型及其后续变种等,其思路是通过组合两种不同特点、优势互补的深度学习网络,提升模型的综合能力。

FM模型的深度学习演化版本

传统推荐模型FM在深度学习时代有了诸多后续版本,其中包括NFM(Neural Factorization Machine,神经网络因子分解机),FNN(Factorization-machine supported network,基于因子分解机支持的神经网络),AFM(Attention neural Factorization Machine,注意力因子分解机)等,他们对FM的改进方向各不相同。例如NFM模型主要使用神经网络提升FM二阶部分的特征交叉能力,AFM是引入了注意力机制的FM模型,FNN利用FM的结果进行网络初始化。

注意力机制与推荐模型的结合

这类模型主要是将注意力机制应用于深度学习推荐模型中,主要包括了FM与注意力机制的AFM和引入了注意力机制的CTR预估模型DIN(Deep Interest Network,深度兴趣网络)

序列模型与推荐模型的结合

这类模型的特点是使用序列模型模拟用户行为和用户兴趣的演化趋势,代表模型是DIEN(Deep Interest Evolution Network,深度兴趣进化网络)

强化学习与推荐模型的结合

这类模型将强化学习应用与推荐领域,签到模型的在线学习和实时更新,其代表模型是DRN(Deep Reinforcement Laearning Network,深度强化学习网络)。

展开阅读全文

Python数据分析与挖掘

01-08
92讲视频课+16大项目实战+源码+¥800元课程礼包+讲师社群1V1答疑+社群闭门分享会=99元   为什么学习数据分析?       人工智能、大数据时代有什么技能是可以运用在各种行业的?数据分析就是。       从海量数据中获得别人看不见的信息,创业者可以通过数据分析来优化产品,营销人员可以通过数据分析改进营销策略,产品经理可以通过数据分析洞察用户习惯,金融从业者可以通过数据分析规避投资风险,程序员可以通过数据分析进一步挖掘出数据价值,它和编程一样,本质上也是一个工具,通过数据来对现实事物进行分析和识别的能力。不管你从事什么行业,掌握了数据分析能力,往往在其岗位上更有竞争力。    本课程共包含五大模块: 一、先导篇: 通过分析数据分析师的一天,让学员了解全面了解成为一个数据分析师的所有必修功法,对数据分析师不在迷惑。   二、基础篇: 围绕Python基础语法介绍、数据预处理、数据可视化以及数据分析与挖掘......这些核心技能模块展开,帮助你快速而全面的掌握和了解成为一个数据分析师的所有必修功法。   三、数据采集篇: 通过网络爬虫实战解决数据分析的必经之路:数据从何来的问题,讲解常见的爬虫套路并利用三大实战帮助学员扎实数据采集能力,避免没有数据可分析的尴尬。   四、分析工具篇: 讲解数据分析避不开的科学计算库Numpy、数据分析工具Pandas及常见可视化工具Matplotlib。   五、算法篇: 算法是数据分析的精华,课程精选10大算法,包括分类、聚类、预测3大类型,每个算法都从原理和案例两个角度学习,让你不仅能用起来,了解原理,还能知道为什么这么做。
©️2020 CSDN 皮肤主题: 大白 设计师: CSDN官方博客 返回首页
实付0元
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值