CTR 预测理论（十九）：高维稀疏特征场景中 LR 比 GBDT 效果好的原因

最新推荐文章于 2022-03-10 15:28:05 发布

dby_freedom

最新推荐文章于 2022-03-10 15:28:05 发布

阅读量2.6k

点赞数 6

分类专栏：推荐系统理论进阶文章标签： CTR 预测理论（十九）高维稀疏特征场景 LR GBDT 机器学习

本文链接：https://blog.csdn.net/Dby_freedom/article/details/98658805

版权

Machine Learning 同时被 2 个专栏收录

32 篇文章 10 订阅

订阅专栏

推荐系统理论进阶

32 篇文章 34 订阅

订阅专栏

个人曾经也很多次思考过：高维稀疏特征的时候，LR 的效果会比 GBDT 好的原因，现查阅资料总结与此。

综述

在平时的项目中也遇到了不少 case，确实高维稀疏特征的时候，使用 GBDT 很容易过拟合。但是还是不知道为啥，后来深入思考了一下模型的特点，发现了一些有趣的地方。

假设有 1w 个样本， y 类别 0 和 1，100 维特征，其中 10 个样本都是类别 1，而特征 $f_1$ 的值为 0，1，且刚好这 10 个样本的 $f_1$ 特征值都为 1，其余 9990 样本都为 0(在高维稀疏的情况下这种情况很常见)，我们都知道这种情况在树模型的时候，很容易优化出含一个使用 $f_1$ 为分裂节点的树直接将数据划分的很好，但是当测试的时候，却会发现效果很差，因为这个特征只是刚好偶然间跟 y 拟合到了这个规律，这也是我们常说的过拟合。
但是当时我还是不太懂为什么线性模型就能对这种 case 处理的好？照理说线性模型在优化之后不也会产生这样一个式子： $W_1 f_1 + \cdots+ W_if_i + \cdots$ ，其中 $W_1$ 特别大以拟合这十个样本吗，因为反正 $f_1$ 的值只有 0 和 1， $W_1$ 过大对其他 9990 样本不会有任何影响。
后来思考后发现原因是因为现在的模型普遍都会带着正则项，而 LR 等线性模型的正则项是对权重的惩罚，也就是 $W_1$ 一旦过大，惩罚就会很大，进一步压缩 $W_1$ 的值，使他不至于过大，而树模型则不一样，树模型的惩罚项通常为叶子节点数和深度等，而我们都知道，对于上面这种 case，树只需要一个节点就可以完美分割 9990 和 10 个样本，惩罚项极其之小.
这也就是为什么在高维稀疏特征的时候，线性模型会比非线性模型好的原因了：带正则化的线性模型比较不容易对稀疏特征过拟合。