1.1 深度学习在各个领域的应用
目前较为热门的GAN(生成式对抗网络)
1.2 CTR任务
一、当深度学习遇到CTR预估
CTR任务:给定一个商品,给定一个环境,用户购买此商品的概率。应用范围较广。例如有如下场景。
比如:输入一部电影,预测会打几分(右边的1,2,3,4,5代表预测分值)
蓝色框:用户
橙色框:电影
黄色框:用户过去看过那些电影,大国那些分数
绿色框:时间
酒红框:相关特征
CTR任务特点:
- 大量离散特征
- 大量高维度稀疏特征
- 特征工程:特征组合对于效果非常关键
二、传统主流CTR预估方法
1.线性模型:思路及问题
泛化能力弱:在训练数据中没有的特征,遇到之后便无法处理。
2.FM模型
3.GBDT模型
1.3深度学习基础模型
1.前向神经网络(MLP)
与上一层的关系:全连接
第一步:对输入值加权求和
第二步:非线性变换(压缩函数)
目前用的比较多的是ReLU激活函数(如何输入值小于0给0值,大于0,输入何值则为何值)
2.CNN(图像处理)
输入层一张图片---卷积层--池化层--卷积层--全连接层--输出层
卷积层:一个卷积核在捕获一个特征。
在四个里面取最大值输出。参数量越少,模型越小。
3.RNN(自然语言)
基本结构:
- 输入层
- 隐层
- 输出层
输入层,前向层、后向(逆向)层、输出层。------引入双向。
4.LSTM(RNN的改进)
输入层---输入门(控制信息是否可以进入)---遗忘门(控制上个门传入的信息,1代表原封不动传递,0代表屏蔽)---输出们(给人看到多少信息)
2.深度学习CTR模型要解决的几个关键问题