推荐系统CTR预估学习路线：引入注意力机制

推荐系统CTR预估学习路线：从LR到FM/FFM探索二阶特征的高效实现

推荐系统CTR预估学习路线：利用树模型自动化特征工程

推荐系统CTR预估学习路线：深度模型

推荐系统CTR预估学习路线：引入注意力机制

作者：Eric陈健锋 来源：炼丹笔记

导语

在广告、推荐系统CTR预估问题上，早期的完全规则方法被过渡到以LR为代表的机器学习方法，为了充分发挥组合特征的价值，在相当长一段时间里，业界热衷于使用LR+人工特征工程。但人工组合特征成本高昂 ，在不同任务上也难以复用。2010年FM因子分解方法的出现解决了人工组合特征的困境，2014年Facebook提出的GBDT+LR也给出了一种利用树模型特点构建组合特征的思路。不过随着深度学习的崛起，2015年以后，借助非线性自动组合特征能力的深度模型，开始成为业内的主流。从经典DNN到结合浅层的Wide&Deep，用于CTR预估的深度模型在近些年间百花盛开，各种交叉特征建模方法层出不穷，Attention机制也从其他研究领域引入，帮助更好的适应业务，提升模型的解释性。在这进化路线之下，核心问题离不开解决数据高维稀疏难题，自动化组合特征，模型可解释。我们梳理了近些年CTR预估问题中有代表性的模型研究/应用成果，并对部分经典模型的实现原理进行详细剖析，落成文字作为学习过程的记录。

目录

0. CTR预估模型进化路线
1. 从LR到FM/FFM：探索二阶特征的高效实现
    1.1 LR与多项式模型
    1.2 FM模型
    1.3 FFM模型
    1.4 双线性FFM模型
2. GBDT+LR：利用树模型自动化特征工程
3. 深度模型：提升非线性拟合能力，自动高阶交叉特征，end-to-end学习
    3.1 特征的嵌入向量表示
    3.2 经典DNN网络框架
    3.3 DNN框架下的FNN、PNN与DeepCrossing模型
    3.4 Wide&Deep框架及其衍生模型
        3.4.1 Wide部分的改进
        3.4.2 Deep部分的改进
        3.4.3 引入新的子网络
4. 引入注意力机制：提高模型自适应能力与可解释性
    4.1 AFM模型
    4.2 AutoInt模型
    4.3 FiBiNET模型
    4.4 DIN模型
    4.5 DIEN模型
5. 总结

（四）引入注意力机制：提高模型自适应能力与可解释性

直观上，注意力机制可以借用人类的视觉行为来进行解释，例如我们观看一张照片的时候，视觉系统会很自然的将注意焦点集中在某些区域，而自动忽略其他不相关的内容。这种机制被引入到机器学习/深度学习，其中一个著名事件是࿰