Task 4 Wide&Deep
1 点击率预估简介
解决什么问题:对每次广告的点击情况做出预测
模型:二分类模型,可用逻辑回归作为模型的输出,输出为一个概率值
与推荐算法的不同:
广告点击率预估:由某个用户对某个广告的点击率 w/ 广告的出价用于排序
推荐算法:只需得到一个最优的推荐次序
2 FM为什么不好
当query-item矩阵是稀疏并且是high-rank的时候,结果较差,会推荐一些不那么相关的物品。
简单的linear model可以通过cross-product transformation来记住这些exception rules。
3 Wide&Deep模型的“记忆能力”与“泛化能力”
Memorization & Generalization
Memorization:通过用户与商品的交互信息矩阵学习规则(协同过滤、SVD。。。;更加保守,推荐用户之前有过行为的items,线性模型)
Generalization:泛化规则(FM。。;提高推荐系统的多样性,DNN)
Wide&Deep:融合这两种推荐结果做出最终推荐(Wide:线性模型;Deep:DNN)
Wide部分可以增强模型的记忆能力,Deep部分有利于增强模型的泛化能力。
wide部分:广义的线性模型,输入分为两部分(1)原始的部分特征;(2)原始特征的交互特征(两个特征同时为1,新特征才为1)。wide部分模型训练完之后留下来的特征都是非常重要的。
Deep部分:DNN模,输入特征分为(1)数值特征,可直接输入;(2)类别特征(需要经过Embedding)。层数越多,中间特征越抽象,提高了模型的泛化能力。
Wide部分与Deep部分结合:将两部分的输出重新使用一个逻辑回归模型做最终的预测,输出概率值。
4 操作流程
Retrieval:获得最终推荐列表的候选集
Ranking:
a. 搜集更细致的用户特征
b. 将特征分别传入Wide&Deep一起做训练
c. 训练完成后推荐TopN