不同模型加工特征的方式

LR：更多考虑线性特征，缺少特征交叉性和高阶特征

DNN：只考虑了高阶特征

CNN：考虑近邻特征的关系。较单一，适合图片分类

RNN：更多的是数据时序性

FM：考虑更多低阶特征，缺少高阶特征

Wide & Deep Learning：简称WDL，包括Deep和Wide两部分，同时考虑了低阶特征和高阶特征，Wide部分实际是LR，显示低阶特征交叉，需要人工设计交叉特征，花费较多精力，可能效果不如直接DNN，Deep部分是DNN，隐士高阶特征交叉。

DeepFM是在WDL的基础上，把LR部分改成FM（Factorization-Machine），无需人工设计交叉特征，一般是二阶，FM与DNN共用特征embedding，FM更适用离散特征，直接进行embedding生成向量，连续特征可以离散化再使用，但这样会损失部分信息。

Tips：Attention的作用，最早用于CV领域，类似相机的聚焦点，关注核心信息，而不是背景信息。在NLP领域中，为了获取长文本中距离较远的信息，RNN被广泛使用，但由于是串行处理，训练速度较慢，CNN可以并行处理但参数较多，而Attention可以解决这些问题，Bert，GPT的大火，也加快促进了Attention机制的广泛应用。

参考资料：

1、【CTR预估】深度学习进化之路 - RStalker's Tech Blog