记录一次线下技术分享心得,和自己工作上的一点体会,有不对的地方还请各位前辈指出。
当下推荐生态的发展历史:
从规则到协同过滤再到模型和现在比较流行的基于机器学习的推荐
比较常用的协同过滤算法的优缺点是很明显的:泛化能力弱 ,样本结果好
实时look alike 算法在微信看一看中的应用:中间采用Ralm算法
paper:Real-time Attention Based Look-alike Model for Recommender System
https://arxiv.org/abs/1906.05022
一、未被缓解的马太效应
1、推荐系统的设计初衷:个性化推荐需要解决信息过载
原始数据在抽象过程中都会出现信息损失,怎样才能做到信息损失最小,这是需要结合业务需求,做适当的取舍,
2、传统模型的遗留问题:
特征部分依赖,推荐结果趋热(这个问题工作中也遇到过,数据中存在大比例数据,无论怎么随机,怎么划分训练集和测试集,总会出现小比例数据学习不到的现象,而大比例数据学习充分)这是推荐中总会出现的马太效应。如何解决马太效应?(加入时间衰减?加入数据比例权重偏重?)
3、优质长尾内容投放困难
小众兴趣难以满足、影响系统生态。
uesr特征(年龄、性别)
原始样本(uin,item,label)->