阅读文章为Wide & Deep Learning for Recommender Systems
先贴出模型图:
特征生成
图1continuous features特征标准化:
i
−
1
n
q
−
1
\frac{i-1}{n_q-1}
nq−1i−1
图1的cross product transformation方框内使用图2公式产生新的稀疏组合特征。
训练
Deep Component权重值随机初始化,并使用AdaGrad优化权重值直到损失函数最小。
训练时,通过使用Wide Component和Deep Component的输出特征加权和,然后输入到逻辑损失函数中训练。两个模型满足西瓜书中的“好而不同”的思想。再根据最后输出的label调整整个模型的参数,并使用FTRL约束。最后一层的logistics regression如图3
效果
细节
1、论文开头说明线性模型通常使用稀疏化特征,神经网络使用低维密集特征效果比高维稀疏的好。
2、memorization基于训练用户历史数据训练得出一个用户的日常化行为;generalization则是根据用户未知行为给出的预测。最后加权为一个总的特征。
3、模型训练时热启动。
4、因为推荐系统的功能性决定了整个系统使用多线程。