用户在线广告点击行为预测的深度学习模型（含PPT下载）

本文来自英国伦敦大学学院博士张伟楠在携程技术中心主办的深度学习Meetup中的主题演讲，介绍了深度学习在Multi-field Categorical（多字段分类）数据集上的应用，涉及FM和FNN等算法。

本次分享主要讲的是深度学习在Multi-field Categorical 这类数据集上的应用，这种类型的数据主要呈现以下特征：有多个域，每个域上的数据以ID格式呈现。本课题就是在信息检索这一大类下的应用，它的应用主要体现在：网络搜索、推荐系统、广告展示这些领域。深度学习对连续数据和序列数据（比如：图片像素、语音、自然语言等）有比较好的效果且目前已经有了比较成熟的应用，如：图像识别、语音识别等。

而现实世界中又有很多现象需要多字段的分类数据来描述，那如果用深度学习来处理多字段的分类数据，效果又会是怎样呢？本文通过用户在线广告点击行为预测的应用实例来向大家展示深度学习在多字段分类数据的应用效果。

文章将详细介绍了FM和FNN算法在处理多值分类数据方面的优势，并把这两种算法与神经网络在特征变量处理方面的差异做了对比，最后通过一个用户在线广告点击行为预测的实例比较了LR、FM、FNN、CCPM、PNN-I等不同算法的实际预测效果。

深度学习目前的应用现状

深度学习目前比较成熟的应用主要集中在：机器视觉、语音识别、自然语言处理这些课题上，这些应用领域的共同特点是它们的数据集是连续的。比如:图形识别中每个图层与它之后的图层局部都有比较紧密的联系；语音信息前后也有比较强的相关关系；在自然语言处理中每个WORD虽然是离散的，但是其前后的数据也是强相关的。对于这种类型的数据，人可以轻易理解这些数据，但是一般的机器学习算法处理这种数据却是非常困难的，而深度学习却可以很好的从底层逐层学习出高层的模式，这就是深度学习的优势。

而今天我们要了解的数据 Multi-field Categorical Data与上述这些连续或是序列数据是有区别的,Multi-field Categorical Data会有多种不同的字段，比如：[Weekday=Wednesday, Gender=Male, City=London,…]，那这样我们就比较难识别这些特征之间的关系。给大家举例一个直观的场景：比如现在有一个凤凰网站，网站上面有一个迪斯尼广告，那我们现在想知道用户进入这个网站之后会不会有兴趣点击这个广告，类似这种用户点击率预测在信息检索领域就是一个非常核心的问题。

那一般普遍的做法就是通过不同的域来描述这个事件然后预测用户的点击行为，而这个域可以有很多，比如：

•  Date: 20160320
•  Hour: 14
•  Weekday: 7
•  IP: 119.163.222.*
•  Region: England
•  City: London
•  Country: UK
•  Ad Exchange: Google
•  Domain: yahoo