一 Tensorflow2.x安装
1.1 首先创建一个环境,运行命令如下:
conda create -n tensorflow python=3.6
1.2 环境创建完成之后,就可以进行环境的激活了,执行命令如下:
activate tensorflow
1.3 查找对应的tensorflow版本:
anaconda search -t conda tensorflow
1.4 输入 anaconda show sleap/tensorflow
1.5 根据提示命令进行安装即可
1.6 测试成功
二 DeepCrossing 学习
2.1. 应用场景及预处理
DeepCrossing模型的应用场景是微软搜索引擎Bing中的搜索广告推荐, 用户在输入搜索词之后, 搜索引擎除了返回相关结果, 还返回与搜索词相关的广告,Deep Crossing的优化目标就是预测对于某一广告, 用户是否会点击,是点击率预测的一个问题。
我们首先要做的是对于类别型特征,进行one-hot编码处理,对于数值型特征进行归一化处理,进行清洗。 DeepCrossing模型就是利用这些特征向量进行CRT预估
2.2. 模型结构及原理
为了完成端到端的训练, DeepCrossing模型要在内部网络结构中解决如下问题:
1. 离散类特征编码后过于稀疏, 不利于直接输入神经网络训练, 需要解决稀疏特征向量稠密化的问题
2. 如何解决特征自动交叉组合的问题
3. 如何在输出层中达成问题设定的优化目标
DeepCrossing分别设置了不同神经网络层解决上述问题。模型结构如下
2.2.1 Embedding Layer
将稀疏的类别型特征转成稠密的Embedding向量,Embedding的维度会远小于原始的稀疏特征向量。 类别特征(one-hot编码后的稀疏特征向量),需要 embedding,数值型特征不用embedding。 关于Embedding Layer的实现, 往往一个全连接层即可,Tensorflow中有实现好的层可以直接用。
2.2.2 Stacking Layer
这个层是把不同的Embedding特征和数值型特征拼接在一起,形成新的包含全部特征的特征向量,该层通常也称为连接层, 具体的实现如下,先将所有的数值特征拼接起来,然后将所有的Embedding拼接起来,最后将数值特征和Embedding特征拼接起来作为DNN的输
2.2.3 Multiple Residual Units Layer
DeepCrossing在这层采用了残差网络进行的连接。用稍微修改过的残差单元,它不使用卷积内核,改为了两层神经网络。残差单元是通过两层***ReLU***变换再将原输入特征相加回来实现的。
2.2.4 Scoring Layer
这个作为输出层,为了拟合优化目标存在。 对于CTR预估二分类问题, Scoring往往采用逻辑回归,模型通过叠加多个残差块加深网络的深度,最后将结果转换成一个概率值输出。
三. 总结
DeepCrossing模型中没有任何人工特征工程的参与,只需要简单的特征处理,原始特征经Embedding Layer输入神经网络层,自主交叉和学习。 相比于FM,FFM只具备二阶特征交叉能力的模型,DeepCrossing可以通过调整神经网络的深度进行特征之间的“深度交叉”,这也是Deep Crossing名称的由来。
如果是用于点击率预估模型的损失函数就是对数损失函数:
l
o
g
l
o
s
s
=
−
1
N
∑
1
N
(
y
i
l
o
g
(
p
i
)
+
(
1
−
y
i
)
l
o
g
(
1
−
p
i
)
logloss=-\frac 1N\sum_1^N(y_ilog(p_i)+(1-y_i)log(1-p_i)
logloss=−N11∑N(yilog(pi)+(1−yi)log(1−pi)
其中
y
i
y_i
yi表示真实的标签(点击或未点击),
p
i
p_i
pi表示Scoring Layer输出的结果。但是在实际应用中,根据不同的需求可以灵活替换为其他目标函数。