User和item特征笔记

本文是对七月在线推荐课程王老师讲的关于user 和item特征的一个简单随堂笔记。 本文主要围绕关于连续型和离散化特征、用户画像的特征、embedding特征、特征选择和特征降维来展开。 

连续和离散化特征

⊚ 为什么会有这个区分?

        ⊚ 离散特征和连续特征的特点

        ⊚ 离散和连续的相互转化

连续值是有大小上的意义的。等距的离散化的分桶，当桶分的过大时，会导致桶底和桶尾的值没有大小区分了，所以分桶的桶距不适合分的太大。另外还有等频的离散化分桶 

怎么进行特征离散化?

分桶： 

一般有手动分桶和自动分桶两种方法.

⊚ 手动分桶: 统计每个组的情况

⊚ 自动分桶: GBDT+LR

先在样本集上训练一个 GBDT 的树模型, 然后使用这个树模型 对特征进行编码, 将原始特征 𝑥 对应的叶子节点按照 01 编码, 作 为新的特征, 叠加到 LR 模型里再训练一个 LR 模型.

为什么这样做是有效的?

因为 GBDT 是在函数空间对残差进行连续的逼近, 精度很高,

但是容易过拟合; 在进行裁剪后, 利用叶子节点编码, 有效的把 连续特征离散化, 因此适合 LR.

2004 年Facebook 在论文 Practical Lessons from Predicting Clicks on Ads at Facebook 中提出的 GBDT + LR 模型给出了一个可行的解决方案。

        •GBDT构建特征，LR预估CTR

        •深度决定特征交叉阶数（深度不能太深，否则容易过拟合，一般设置5-7）

        •特征工程模型化，模型的输入可以是原始的特征向量，实现端到端训练。

 

对于送给FM，连续型特征通常会进行分桶，

点评赞类的统计型连续型特征送给deepFM ，尤其是FM 侧，一般会需要进行分桶，（当然也可以进行不分桶的对比尝试） ，分桶大小一般可以设置为100-300个桶之间（需要根据数值进行分位数分析） ，分桶的话会更方便特征交叉，可以获取更多信息。

• 等距分桶可以考虑以10 取log ，。todo 这个待细查等频等距分桶（连续型特征离散化） ,此外考虑平滑操作。todo 待查  分桶的优缺点

课上讲到的一个案例 ctr是log之后，乘上一个100，再向下取整 。

 

用户画像想到的特征：

背景： 广告比赛 

如何捕捉到真正有用的用户特征, 其实是和业务以及建模问题强相关的.

交叉特征：  

交叉方式： 类别+类别； 类别+连续，连续+连续

业务组合：用户侧+商品侧，用户侧+用户侧，商品侧+商品侧

（交叉组合需要考虑性能）

 

Embedding 特征： 

OneHot 无法考虑到不同维度的关系. embedding是可以表达这类信息的，如word2vec embedding后，

        ⊚ 如国王-男 = 女王-女 

        ⊚ 如 1 和 2 都是数字

Embedding 是一个将离散变量转为连续向量表示的一个方式， 

        ⊚ 从数学上看, 是映射

        ⊚ 从神经网络的角度看, 是层与层之间的矩阵

        ⊚ 从特征的角度看, 是从一套特征映射到另一种表示方式

从神经网络的角度看 FM

𝑦 = 𝜎(< 𝑤, 𝑥 > + < 𝑊 · 𝑥, 𝑊 · 𝑥 >)

        ⊚ FM 首先是对离散特征进行嵌入, 也叫做 embedding,

        ⊚ 之后通过对嵌入后的稠密向量进行内积来进行二阶特征组合

        ⊚ 最后和线性部分结合

Wide and Deep 

Wide and Deep 由谷歌提出, 采用神经网络联合训练的思路, 对 神经网络进行并联.

 ⊚ Deep 部分是 MLP, 而且是 dense 特征的 MLP.

⊚ Wide 部分是直接的 LR.

⊚ 如果 Wide 部分采用了 FM, 就变成了 DeepFM.

优点： 

⊚ 分开学习 wide 和 deep 部分

⊚ 同时获得 记忆性 和 泛华性 的信息

⊚ 模型简单效果好, 易于扩展

FM本质上可以理解为SVD +LR 

键值存储（Key-Value Memory）的神经模型 -实现浮点数到向量的映射   

老师说其所在部门未来会用这种方式去替换分桶的做法？ todo 待细查这个。

 

” 记忆性就是浅层的、显示的特征表达” 

怎么得到Embedding

⊚ 使用 word2vec 预训练, node2vec

⊚ 使用 FM 预训练

⊚ 深度学习的 supervised learning

推荐系统中主要目的：

⊚ 在 embedding 空间中查找最近邻，这可以很好的用于根据用户的兴趣来进行推荐。

⊚ 作为监督性学习任务的输入

特征工程： 

对于不同模型，特征的预处理方式会有不同

对于线性模型 

⊚ 二阶交叉和高阶交叉

⊚ 单变量的非线性变换

⊚ 特征预处理和归一化 (梯度)

特征工程： 预处理 

离群点处理： 1） 当作缺失值进行处理 2） 删掉离群点所在样本 3） 使用统计值进行填充

缺失值处理：  

 

特征选择 

特征重要性的评估一般是用树模型，比如按 信息增益做个排名，增加了特征后再看离线auc、gauc 的一个效果

特征重要性实际筛选工作。

选取部分数据做评估， 有千分位的波动一般特征都可以保留下来。 

特征覆盖率分析（一般有10% 就可以用了，这个也要结合区分度，如果区分度很高，覆盖率阈值可以降低，区分度不高，覆盖率阈值可以去提升。对于覆盖率低的需要考虑进行如何进行填充值） +  信息增益比分析  + xgboost 

 特征降维  ：

⊚ PCA

⊚ SVD

⊚ LDA

比赛中常用到

其他：

2019 的跨境电商实战比赛   案例 

用户：用户标识、用户国籍

商品：商品标识、店铺、品类、价格

场景：点击时间、访问排序、购买标记

根据零售行业的人货场概念，赛题提供了关于用户行为日志的常见字段可分为如下部分：

 

 

 用户画像

        •用户活跃度

        •用户品类偏好

        •用户店铺偏好

商品画像

        •商品销量

        •商品转化率

        •商品热度

 行为明细

        •用户点击次数

        •用户点击频率

业务知识

        • 商品上架时间

        •促销节点

        •复购产品

 

 

鸣谢与参考 ：

七月在线