1.推荐系统
产生原因:信息过载,存在选择困难
推荐系统与搜索引擎
搜索引擎需要用户提供准确的关键词来寻找信息,当用户无法找到准确描述自需求的关键词时,搜索引擎就起不到作用了。
推荐系统是通过分析用户的历史行为给用户的兴趣建模,从而主动给用户推荐能够满足他们需求的信息。
长尾(long hair)
传统销售的80/20原则:80%的销售收入来自于20%的热门商品。
长尾商品:代表一部分用户的个性化需求。
在互联网时代,货架成本低廉,电子商务网站能够出售比传统商店更多的东西。因此长尾商品的销售额不容忽视。
推荐算法
通过一定方式把用户和物品联系起来,解决信息过载的问题。
2.推荐系统应用
电子商务
电影、视频网站
音乐网络电台
社交网络
个性化阅读
个性化邮件
位置服务
个性化广告
3.推荐系统的评测
3.1推荐系统实验方法
离线实验
好处:不需要真实用户参与,可以快速计算结果,从而方便测试不同算法。
坏处:无法获得很多商业上关注的指标,如点击率、转化率。
用户调查
好处:可以获得很多用户主观感受的指标,相对在线实验风险低,出现错误容易弥补。
坏处:很难组织大规模的用户调查,会使得调查结果统计意义不足。
在线实验
主要是AB测试。
AB测试通过一定的规则将用户随机分成几组,并对不同组的用户采取不同的算法,然后通过统计不同组用户的各种测试指标比较不同算法。
AB测试的关键是切分流量。
好处:可以公平获得不同算法实际在线时的性能指标,包括商业关注的一些指标。
坏处:测试周期长,必须进行长时间的实验才能获得可靠的结果。
3.2评测指标
3.2.1用户满意度
3.2.2预测准确度
度量一个推荐系统或推荐算法的预测用户行为的能力
评分推荐
预测用户对物品的评分,指标分为均方根误差(RMSE)和平均绝对误差(MAE)
u
u
用户,物品,
rui
r
u
i
用户
u
u
对物品的评分,
r^ui
r
^
u
i
预算预测的用户
u
u
对物品的评分。
TopN推荐
给用户一个个性化推荐列表
准确率
召回率
R(u) R ( u ) 表示给用户的推荐列表, T(u) T ( u ) 表示用户在测试集上的行为列表
3.2.3覆盖率
描述一个推荐系统发掘长尾物品的能力
3.2.4多样性
描述推荐列表中两两物品之间的不相似性。