论文阅读1

阅读文章为Wide & Deep Learning for Recommender Systems
先贴出模型图：

图1

特征生成

图1continuous features特征标准化：$\frac{i-1}{n_q-1}$
图1的cross product transformation方框内使用图2公式产生新的稀疏组合特征。

图2

训练

Deep Component权重值随机初始化，并使用AdaGrad优化权重值直到损失函数最小。
训练时，通过使用Wide Component和Deep Component的输出特征加权和，然后输入到逻辑损失函数中训练。两个模型满足西瓜书中的“好而不同”的思想。再根据最后输出的label调整整个模型的参数，并使用FTRL约束。最后一层的logistics regression如图3

图3

效果

细节

1、论文开头说明线性模型通常使用稀疏化特征，神经网络使用低维密集特征效果比高维稀疏的好。
2、memorization基于训练用户历史数据训练得出一个用户的日常化行为；generalization则是根据用户未知行为给出的预测。最后加权为一个总的特征。
3、模型训练时热启动。
4、因为推荐系统的功能性决定了整个系统使用多线程。