机器学习-推荐系统

推荐系统
 
推荐系统
19444人在进行视频或语音聊天
62.5万部优酷土豆视频被观看
Facebook共产生701,389账号登陆
App Store上已有51,000个app被下载
。。。
 
推荐系统
 
推荐系统
 
推荐系统
 
协同过滤
如果你现在想看个电影，但你不知道具体看哪部，你会怎么做？
如何确定一个用户是不是和你有相似的品位？
如何将邻居们的喜好组织成一个排序的目录？
 
协同过滤
1.收集用户偏好
2.找到相似的用户或物品
3.计算推荐
要实现协同过滤，需要的步骤？
 
协同过滤
 
相似度计算
 
相似度计算
欧几里德距离（Euclidean Distance）
Cosine 相似度（Cosine Similarity）
皮尔逊相关系数（Pearson Correlation Coefficient）
 
相似度计算
皮尔逊相关系数（Pearson Correlation Coefficient）
协方差
皮尔逊相关系数
Pearson相关系数是用协方差除以两个变量的标准差得到的
 
相似度计算
皮尔逊相关系数
 
相似度计算
邻居的选择
A.固定数量的邻居
B.基于相似度门槛的邻居
 
协同过滤
基于用户的协同过滤
 
协同过滤
基于用户的协同过滤要解决的问题
已知用户评分矩阵Matrix R（一般都是非常稀疏的）
推断矩阵中空格empty cells处的值
 
协同过滤
UserCF存在的问题issues
对于一个新用户，很难找到邻居用户。
对于一个物品，所有最近的邻居都在其上没有多少打分。
 
协同过滤
基础解决方案
相似度计算最好使用皮尔逊相似度
考虑共同打分物品的数目，如乘上min(n,N)/N    n:共同打分数 N:指定阈值
对打分进行归一化处理
设置一个相似度阈值
 
相似度计算
基于用户的协同过滤为啥不流行？
1.稀疏问题
2.数百万的用户计算，这量？
3.人是善变的
 
协同过滤
基于物品的协同过滤
 
协同过滤
基于物品的协同过滤优势！
计算性能高，通常用户数量远大于物品数量
可预先计算保留，物品并不善变
 
协同过滤
r_51 = (0.41*2 + 0.59*3)/(0.41 + 0.59) = 2.6
 
协同过滤
用户冷启动问题
引导用户把自己的一些属性表达出来
利用现有的开放数据平台
根据用户注册属性
推荐排行榜单
 
协同过滤
物品冷启动问题
文本分析
主题模型
打标签
推荐排行榜单
 
协同过滤
 
协同过滤
基于用户的推荐
实时新闻
突然情况
基于物品的推荐
图书
电子商务
电影
。。。
 
隐语义模型
隐语义模型
从数据出发，进行个性化推荐
用户和物品之间有着隐含的联系
隐含因子让计算机能理解就好
将用户和物品通过中介隐含因子联系起来
 
隐语义模型
隐语义模型
分解
组合
 
隐语义模型
隐语义模型
 
隐语义模型
隐语义模型求解
梯度下降方向：
迭代求解：
 
隐语义模型
隐语义模型负样本选择
对每个用户，要保证正负样本的平衡（数目相似）
选取那些很热门，而用户却没有行为的物品
对于用户—物品集K {(u,i)}
其中如果(u, i)是正样本，则有