一文读懂CTR预估模型的发展历程

如果觉得我的算法分享对你有帮助，欢迎关注我的微信公众号“ 圆圆的算法笔记”，更多算法笔记和世间万物的学习记录～

1. 背景

CTR预估是搜索、推荐、广告等领域基础且重要的任务，主要目标是预测用户在当前上下文环境下对某一个候选（视频、商品、广告等） 发生点击的概率。CTR预估从最原始的逻辑回归模型，发展到FM、深度学习模型等，经历了一个不断创新的过程，其核心为如何设计、融合不同的特征交叉方式。本文从FM和DNN开始开始，带你梳理CTR预估模型的发展历程，包括FNN、PNN、Wide&Deep、DCN、DeepFM、xDeepFM等一系列CTR预估模型和它们之间发展演进的关系。

2. 从FM和DNN说起

CTR预估问题的核心是特征工程，而特征交叉又是特征工程最重要的一环。不同特征的组合构造而成的交叉特征对于点击率预估十分重要。例如，当存在节日特征和国家特证这两个特征时，能够较差国家特证和节日特征，如中国+春节，能够更好的反映出当前样本的特点，也和label关联更密切。

在传统的逻辑回归模型中，人工构造不同特征的交叉，并对每组交叉特征设定一个权重，可以得到类似于下面的线性方程：

其中xi代表某一个特征，对于离散特征而言，需要通过one-hot编码将一个离散特征变成多个0-1特征。当某些离散特征非常稀疏时，这种交叉导致训练样本中有很多未曾出现过的组合。例如包含500个取值的类目特