推荐优化理论与实践

得克特

已于 2024-03-18 10:35:40 修改

阅读量183

点赞数

分类专栏：搜索推荐文章标签： 1024程序员节推荐算法

于 2023-10-24 10:22:54 首次发布

本文链接：https://blog.csdn.net/weixin_40548136/article/details/132983035

版权

搜索推荐专栏收录该内容

10 篇文章 1 订阅

订阅专栏

1.召回

兴趣召回

2.排序

多目标

多场景

多场景建模
 多场景融合模型

排序优化实践

3.特征

3.1特征工程

推荐系统(十) 「知识梳理」CTR模型中连续特征加入方法

3.2特征冗余

SENet

FiBiNet（FiBiNet解读）模型引入的SENet网络，学习每个特征权重，然后特征权重与embedding作Vector-Wise赋权，参与后续交叉计算，起到一个门控作用，会弱化不重要特征，强化重要特征。其核心逻辑是Squeeze&Excitation&Re-weight。FiBiNet还包含Bilinear交叉层，特征交叉那里再介绍。

Embedding层Gate

对于某个特征field，embedding向量作为输入，通过一层FC，得到该特征fields权重，计算方式分为两种：

Vector-Wise：embeding向量通过一层FC，输出节点为1，得到特征field权重值，权重值与原始embedding向量进行相乘。
Bit-Wise：embeding向量通过一层FC，输出节点为个数与embedding维度相同，得到特征field权重向量，权重向量与原始embedding向量进行Hadamard积。

3.3特征交叉

人工交叉统计特征

FM

FM（因子分解机），用于解决稀疏场景下特征组合的问题。FM原理简单，计算高效，是首个在特征交叉中引入隐向量的模型，并为后续针对特征交叉的模型结构优化提供了一个强基础。
在FM之前，LR通过人工交叉特征，而如果要将所有特征两两交叉，即如下公式：
$y(x)=w_0+\sum_{i=1}^nw_ix_i+\sum_{i=1}^n\sum_{j=1}^nw_{ij}x_ix_j$

输入特征x的维度n非常大，稀疏性强。对所有特征组合进行建模，极大地增加了LR模型的参数量。
另一方面，特征组合加强了稀疏性，在数据中原本不常出现的特征，经过组合后，组合特征项的出现频率则更少。对于在训练数据中不常见甚至未出现过的特征组合，模型将无法学好对应的参数 $w_{ij}$ ，容易导致模型学习不充分效果差。

模型学习所有二阶交叉特征的核心是学习对应的参数 $w_{ij}$ ，而FM提出另一种思路，对特征的每个维度引入一个向量来表示，特征交叉项的参数 $w_{ij}$ 则由两个对应特征的向量计算内积得到。
$y(x)=w_0+\sum_{i=1}^nw_ix_i+\sum_{i=1}^n\sum_{j=i+1}^n<v_i,v_j>x_ix_j$

解决了特征交叉的稀疏问题
解决了参数量问题 $O(n^2)$ -> $O (kn)$ ，n是x的维度，k是向量的维度。
提高了模型的泛化性

计算优化，将计算量由 $O(kn^2)$ -> $O (kn)$
$y(x)=\sum_{i=1}^n\sum_{j=i+1}^nv_i^Tv_jx_ix_j \\=\frac{1}{2}\sum_{i=1}^n\sum_{j=1}^nv_i^Tv_jx_ix_j-\frac{1}{2}\sum_{i=1}^nv_i^Tv_ix_ix_i\\ =\frac{1}{2}(\sum_{i=1}^n\sum_{j=1}^n\sum_{f=1}^kv_{i,f}v_{j,f}x_ix_j-\sum_{j=1}^n\sum_{f=1}^kv_{i,f}v_{i,f}x_ix_i)\\ =\frac{1}{2}\sum_{f=1}^k((\sum_{i=1}^nv_{i,f}x_i)(\sum_{i=1}^nv_{i,f}x_i)-\sum_{i=1}^nv_{i,f}^2x_i^2)\\ =\frac{1}{2}\sum_{f=1}^k((\sum_{i=1}^nv_{i,f}x_i)^2-\sum_{i=1}^nv_{i,f}^2x_i^2))$

FFM(Field Factorization Machine)是在FM的基础上引入了“场（Field）”的概念而形成的新模型

DCN Cross网络

DCN使用Cross网络替代了原来简单的LR网络，增加了特征之间的交互力度，使用多层交叉层对输入特征进行交叉。第 $l$ 层和第l $+ 1$ 层之间的关系如下所示。
$x_{l+1}=x_0x_l^Tw_l+b_l+x_l$
在这里插入图片描述

DCNv2则是将向量 $w$ 换为矩阵 $W$ ，考虑计算量将 $W$ 矩阵低秩性，将其分解通过两个小矩阵代替，同时也可以利用MoE建模低维空间的交叉特征。
【总结】推荐系统——精排篇【2】WDL/DCN/DCN-v2

AutoInt

AutoInt（Automatic Feature Interaction Learning viaSelf-Attentive Neural Networks）将transformer中的multi-head self attention和resnet引入CTR预估模型。实现了自动特征交叉学习以提升CTR预测任务的精度。