打算开个章节分享一些在工作上收获的知识和总结,前面文章介绍了一些关于强化学习的经典模型,更多适合个人学习入门,如果关注实际应用的话这些强化学习模型还需要做相关的优化。作为一个在推荐领域的炼丹师后续会分享一些关于强化学习在推荐领域的应用,首先我会分享和介绍一些推荐领域经典的模型。
一、前言
点击率(click-through rate, CTR)是互联网公司进行流量分配的核心依据之一。比如互联网广告平台,为了精细化权衡和保障用户、广告、平台三方的利益,准确的 CTR 预估是不可或缺的。CTR 预估技术从传统的逻辑回归,到近三年大火的深度学习,新的算法层出不穷:DeepFM, NFM, DIN, AFM, DCN...
本文将从 FM 及其与神经网络的结合出发,能够迅速贯穿很多深度学习 CTR 预估网络的思路,从而更好地理解和应用模型。
二、深度学习模型
CTR 预估本质是一个二分类问题,以移动端展示广告推荐为例,依据日志中的用户侧的信息(比如年龄,性别,国籍,手机上安装的 app 列表)、广告侧的信息(广告 id,广告类别,广告标题等)、上下文侧信息(渠道 id 等),去建模预测用户是否会点击该广告。
1. embedding+MLP
embedding+MLP 是对于分领域离散特征进行深度学习 CTR 预估的通用框架。深度学习在特征组合挖掘(特征学习)方面具有很大的优势。embedding类似于word2vec的词向量,经常作为模型的输入
具体来说, embedding+MLP 的过程如下:
1. 对不同领域的 one-hot 特征进行嵌入(embedding),使其降维成低维度稠密特征。
2. 然后将这些特征向量拼接(concatenate)成一个隐含层。
3. 之后再不断堆叠全连接层,也就是多层感知机(Multilayer Perceptron, MLP,有时也叫作前馈神经网络)。
4. 最终输出预测的点击率。
2. Wide&Deep
Google 在 2016 年提出的宽度与深度模型(Wide&Deep)在深度学习 CTR 预估模型中占有非常重要的位置,它奠定了之后基于深度学习的广告点击率预估模型的框架。 Wide&Deep将深度模型与线性模型进行联合训练,二者的结果求和输出为最终点击率
1. Wide&Deep 是后续介绍模型 DeepFM 与 DCN 的基础框架。这些模型均采用神经网络联合训练的思路,对神经网络进行并联。
2. DeepFM、DCN 与 Wide&Deep 的 Deep 部分都是 MLP。
3. Wide&Deep 的 Wide 部分是逻辑回归,可以手动设计组合特征。
4. DeepFM 的 Wide 部分是 FM,DCN 的 Wide 部分是 Cross 网络,二者均不强求手动设计特征。但此时都与字面意义上的 Wide 有一定差异,因为均共享了降维后的嵌入特征。
3. Factorization-machine(FM)
FM 出现之前的传统的处理方法是人工特征工程加上线性模型(如逻辑回归 Logistic Regression)。为了提高模型效果,关键技术是找到到用户点击行为背后隐含的特征组合。如女性、大学生往会点击护肤品类广告,因此“女性且是大学生且是护肤品类”的特征组合就是一个关键特征。
FM模型可以看成是线性部分的LR,还有非线性的特征组合

最低0.47元/天 解锁文章

8187

被折叠的 条评论
为什么被折叠?



