《推荐系统实践》读书笔记(一）(概述)

一.

A. 搜索引擎（依靠搜索词；适合用户有明确目的时）VS 推荐系统（依靠用户历史行为；适合用户无明确目的时）

推荐系统可以发掘物品的长尾。

将用户和物品关联的3种方式：

1. 社会化推荐（基于好友）：直接问好友或者让网友给自己推荐；

2. 基于内容的推荐：根据用户的注册信息，或者用户喜欢的物品（使用物品的属性），推荐相似的物品；

3. 基于协同过滤：User-CF, Item-CF

 

B. 案例：

1. 亚马逊商城：

个性化推荐：给出推荐理由；基于物品内容的推荐（自己之前购买/收藏/点击了哪些物品，推荐和那些物品“像”的）；

基于好友的推荐：拿到用户的Facebook好友关系，推荐好友喜欢（购买/收藏/点击）的物品；

相关商品列表：购买/浏览了这个物品的用户们，经常购买的其他物品们；（也就是Item-CF）; 打包销售有折扣；

20%~30%的销售来自于推荐系统；

2. 电影/视频网站：

Netflix, Youtube: 基于物品内容的推荐（之前看了/评高分了哪些电影，就推和那些电影“像”的）

Netflix宣称60%的用户通过推荐系统找到自己喜欢的电影；

3. 个性化音乐网络电台：（只有<喜欢,不喜欢，跳过>这3个按钮）

Pandora: 请音乐家来对所有歌曲进行标注（旋律，节奏，编曲，歌词等）；基于物品内容的推荐；

Last.fm: 无标注，基于用户历史行为，允许好友之间互相推荐歌曲；

4. 社交网络(Facebook)：

基于好友的推荐：给用户推荐他的好友们最喜欢的物品；(开放了API给别的网站使用)

朋友圈的排序：Facebook使用EdgeRank算法，使用户尽量看到最熟悉的好友的最新会话；(和微信朋友圈纯按时间排序不同)

给用户推荐好友；

5. 个性化阅读：

Google Reader: 基于好友的推荐（自己关注的人们分享的文章）

Zite: 收集用户对文章的<喜欢/不喜欢>反馈，纯依靠用户行为来个性化推荐；

Digg: User-CF（根据用户行为，找出和自己兴趣相似的用户们，推荐他们喜欢的文章）

6. 基于位置：

推荐附近周边的东西；推荐好友们在附近周边喜欢过的东西；

7. 邮件优先级：

Gmail: 根据用户对邮件的历史行为，计算每个邮件对该用户的优先级，高的排到前面（可为用户节省6%的时间）

8. 个性化广告：

推荐系统(给用户推荐广告) VS. 个性化广告(给广告推荐受众人群)

3类广告：上下文广告（根据网页内容在侧边栏显示）；搜索广告（根据搜索框里输入的内容，在结果列表里显示）；个性化展示广告（大横幅图片；根据用户兴趣定向投放的；（雅虎重点搞这个，发了很多论文））

Facebook掌握了大量用户兴趣，所以个性化广告方面很成功！

 

C. 好的推荐系统，要兼顾3方面利益：1. 用户（推荐用户感兴趣的）；2.物品主/广告主（不能只推那几家大的）；3.自己公司（收集数据不断完善推荐效果，增加点击率和转化率提升收入）

评测方式：1. 离线实验；2.用户满意度调查问卷；3.线上AB测试；

 

D. 评价指标：

1. 用户满意度：可问卷调查；也可通过转化率、点击率、用户停留时长等指标衡量；

2. 准确度：评星的则用RMSE或者RAE；0/1的则用Precision、Recall、F1-score、AUC; (AUC的好处是不需要定下来阈值就能衡量模型的排序能力，且不受正负样本比例不平衡的干扰）

3. 覆盖率：给所有用户推的物品的并集大小/物品全集大小；反应出长尾物品的推荐力度；也可用给所有用户推的物品的次数，求熵或者基尼系数，来衡量这个推荐的分布均衡否；

    马太效应：强者越来越强，弱者越来越弱；协同过滤等很多推荐算法都会有马太效应；

4. 多样性：一个推荐列表，可以用物品两两相似度的平均值，得到相似性，再用1-相似性，得到多样性；所有推荐列表的多样性的平均值，就是整个推荐系统的多样性；（要和准确度保持平衡）

5. 新颖性：必须把已经推荐过的不要再推；越不热门的物品，越新颖；

6. 惊喜度：推荐和用户历史兴趣不相干的电影，用户看之前觉得一般，看完后觉得满意，就是惊喜；

7. 信任度：用户越新任该推荐系统，越会多用，收集到的用户反馈就越多，也就越能捕捉到用户兴趣，良性循环；提高信任度的方式：a. 提供推荐解释; b.利用用户好友信息做推荐和解释；

8. 实时性：a.用户行为发生后能否快速更新推荐列表；b.新上物品能否快速进入用户的推荐列表（物品冷启动能力）（指标：一天内新上的物品有多少被推荐出来了）；

9. 健壮性：反作弊能力；（作弊：雇一批人给自己的电影评高星；雇一批人注册很多账号同时购买某热门商品和自己的商品）指标：模拟作弊，评测作弊前和作弊后的推荐列表变化；如何提高：a.尽量使用代价高的行为；b.使用数据前先进行攻击检测（反作弊），过滤数据；

10. 商业目标：点击率、转化率、收益；

离线优化的目标：确保覆盖率、多样性、新颖性均大于各自bar的前提下，最大化准确度；

 

E. 评测维度（衡量推荐系统在不同角度下的效果）

1. 用户维度：不同年龄、男女、地域、活跃度、新老用户；

2. 物品维度：物品的属性、流行度、平均分、是不是新加入物品；

3. 时间维度：季节、工作日/休息日、白天/晚上；