深度学习在CTR中的应用

目前的很多资料均是基于张伟楠的FNN模型，但还没有很大规模的应用。

另一种是google提出的wide & deep learning模型，主要用于推荐，美团的文章中也有介绍。

• Deep Learning over Multi-Field Categorical Data: A Case Study on User Response Prediction
• • 介绍FNN模型。将FM模型训出的结果作为其中的embedding层，上面套上全连接神经网络。
• Product-based Neural Networks for User Response Predictions
• • 介绍PNN模型。在FNN的embedding层的上面加入produce层，往上还是用全连接神经网络。
• Wide & Deep Learning for Recommender Systems
• • Google提出的wide和deep learning模型。
• 用户在线广告点击行为预测的深度学习模型
• • 这是来自张伟楠博士在携程技术中心主办的深度学习Meetup中的主题演讲。张伟楠博士现在是上海交大的助理教授，其个人主页是 http://wnzhang.net/，他是FNN和PNN的主要作者，还是SVDFeature的作者之一，11年和12年的KDD Cup都有他的身影。
• 闲聊DNN CTR预估模型
• • 作者 Kintocai （蔡建涛，来自腾讯）
  • 这篇文章写得非常好，而且还有作者的一些精辟分析和实践经验，特别是在最后给出了一个总结性的框架图，将这些模型以及一些连续特征的处理方法统一到一个整体框架中，非常赞。
  • 很同意作者的好几个观点，比如：
  • • 在训练样本量足够的情况下，尽可能用简单一些的模型，减少inference的计算量，提高计算的吞吐量，大数据本身就可以解决很多问题。
    • 离散LR依然是二分类问题场景的首选方案，LR加上良好的特征工程足以解决大部分实际问题。
  • 不过对于dropout的使用，个人觉得在全连接层适当使用dropout是有用的，它可以在一定程度防止模型的过拟合。当然如果是训练数据量较大，特征维度较少时，dropout不是必需的。