2.6 协同过滤的缺点
UI矩阵对没有历史记录的评价为0所以UI矩阵很稀疏:计算物品相似度时用户评价较多的商品容易和其他物品的相似度高——仅仅因为这个物品打分的用户多。其他物品可能是相似的,但是因为打分的人少,物品向量非常稀疏,无法计算相似度
协同过滤的缺点:1.推荐结果的头部效应比较明显,处理稀疏向量的能力弱即泛化性能差
2.UI矩阵只有用户对物品的评价信息,没有用户特征,物品特征和场景特征,有效信息少。
3.矩阵分解
为每个用户和物品生成各自的隐向量,将用户和物品定位到同一个隐向量的表示空间上,用户和物品的距离越近说明爱好程度越高,越应该被推荐。用户和用户的距离越近说明用户相似度越高,物品和物品的距离越近说明物品相似度越高。
隐向量的生成:
矩阵分解:UI矩阵R(m*n)=用户矩阵U(m*k)*(k*k)*物品矩阵V(k*n)。(把一个稀疏的大矩阵分解成为相对稠密的两个矩阵)k:k越大,泛化能力越强,隐向量的信息越少,找平衡点
用户U对物品I的评分计算:
3.1矩阵分解的方法:
1. 特征值分解——方阵
2. SVD分解——过程看书,为什么这么做就得到的是用户矩阵和物体矩阵?SVD要求UI矩阵是稠密的,怎么填充?SVD计算复杂度太高
3. 梯度下降:找一个矩阵分解的函数,使得矩阵分解后得到的用户对物品的评分尽可能接近原始UI矩阵的元素值——最小化损失函数,加正则项。——计算梯度,反向更新。
得到最终的用户和物品的隐向量,一个用户对所有物品各自做内积得到的喜好程度排序,即为最终的推荐列表。问题:为什么计算I的梯度时不纳入所有的U?
总结:矩阵分解用用户和物品的隐向量去预测特定用户和特定物品的打分。梯度下降去拟合UI矩阵的全局信息。由此具有更好的泛化能力。
3.2消除用户和物品打分的偏差
引入全局偏差常数,物品偏差系数,用户偏差系数,引入偏差系数做梯度下降。更能反映用户真实态度,得到更有用的推荐信息。
3.3 矩阵分解的优点和局限性
优点 | 1.泛化能力变强了。用隐向量去拟合UI矩阵的全局信息,1个大的稀疏矩阵——2个稠密的用户和物品矩阵 2.空间复杂度降低。不用存用户相似度和物品相似度矩阵,只要存隐向量就够了 3.embedding思想方便特征组合? |
缺点 | 还是没有用户特征,物品特征,场景特征信息 |