fanzitao的专栏

1. 摘要 这篇论文提出一个视频推荐领域的大规模的多目标排序系统，该系统主要面临几个挑战：1）多个竞争关系的目标；2）用户反馈的隐式选择偏见（selective bias），隐式反馈对偏好的反映不够准确（例如播放+差评）。 本文探究了大量软-参数共享技术，例如MMoE，来有效的优化多目标排序。除此之外，本文还采用wide&deep框架来缓和选择偏见问题。并且在youtube线上环境验证了方...

最近在工作中遇到一个问题：需要求几千个商品类目之间的相关性，自然而然相当了关联规则算法。 由于商品类目只有几千个，所以起初并没有考虑性能问题，所以就自己实现了一个mapreduce版的Priori算法，结果用到实际数据集上就悲剧了。 3000个1-频繁项目集做连接，可以得到400多万个2-候选项目集， 然后为了判断在400万中每个候选项集是不是频繁的，需要遍历700万条事务记录。然后依次求2,...

基于神经网络的大规模多任务学习在产业界有广泛的应用，例如推荐系统。为什么现在的推荐系统会追求多任务呢？以头条类的新闻推荐为例，如果只追求点击率，那么标题党会大行其道，所以一般还会把阅读时长也作为一个目标。再比如短视频推荐，平台方更希望给用户带来更好的体验，例如长时间播放、点赞、高评分等。因此，我们可能需要针对多个目标进行建模，追求多目标之间的平衡或者共赢。 借助多任务学习，我们的目标是构建一个统...