CTR模型相关论文,大家已经看了很多了,如FNN、DeepFm、XDeepFM等,难免会"审美疲劳",所以这些模型真的充分挖掘了交叉特征了吗?这篇论文《MaskNet: Introducing Feature-Wise Multiplication to CTR Ranking Models by Instance-Guided Mask》提出了MaskBlock更好的挖掘交叉特征,提升点击率模型的效果。
这篇论文的贡献主要如下:
- 本文提出了一种instance-guided mask方法,该方法在DNN中的特征嵌入层和前馈层同时使用element-wise product。instance-guided mask包含全局上下文信息,动态地融入到特征嵌入层和前馈层,突出重要的特征。
- 本文提出了MaskBlock结构,该结构由3个部分组成,分别为instance-guided mask,前馈层,normalization层。通过这种结构,把标准的DNN扩展为包含可加可乘的交互特征结构。
- 本文提出了排序框架MaskNet,充分利用了MaskBlock作为基本单元,提出了串行MaskBlock和并行MaskBlock。
- 在3个数据集上,MaskNet都表现最好,说明MaskBlock可以显著提升DNN挖掘复杂交互特征的能力。
![v2-0b272c735057607545f85dedc8485b12_b.jpg](https://i-blog.csdnimg.cn/blog_migrate/05e0f4e8f03e574962e850eb95d527ba.png)
Embedding Layer:
关于特征,对于稀疏特征,就直接embedding成k维,对于稠密特征,通过乘一个k维的向量转换成特征,最后把所有特征concat在一起,如下所示:
![v2-801ebeb561fb0318d9ebcf63ee3a3361_b.jpg](https://i-blog.csdnimg.cn/blog_migrate/fcfbbcfc51ef0fd24b75b8502853e897.png)
f表示特征数量,每个特征都映射成了k维度,所Embedding Layer输出了f*k维的特