【机器学习实战系列】读书笔记之利用SVD简化数据(一)

本文详细说明机器学习实战这本书中的示例:餐厅菜肴推荐引擎的算法

5.1 推荐未尝过的菜肴

推荐系统的工作过程是:给定一个用户,系统会为此用户返回N个最好的推荐菜。为了实现这一点,则需要做到:

  1. 寻找用户没有评级的菜肴,即在用户-物品矩阵中的0值;
  2. 在用户没有评级的所有物品中,对每个物品预计一个可能的评级分数。这就是说,我们认为用户可能对物品的打分(这就是相似度计算的初衷);
  3. 对这些物品的评分从高到底进行排序,返回前N个物品。

基于物品相似度的推荐引擎代码如下:

# 用来计算在给定相似度计算方法的条件下,用户对物品的估计评分值
# 参数:数据矩阵、用户编号、物品编号、相似度计算方法,矩阵采用图1和图2的形式
# 即行对应用户、列对应物品
def standEst(dataMat, user, simMeas, item) :
    # 首先得到数据集中的物品数目
    n = shape(dataMat)[1]
    # 对两个用于计算估计评分值的变量进行初始化
    simTotal = 0.0; ratSimTotal = 0.0
    # 遍历行中的每个物品
    for j in range(n) :
        userRating = dataMat[user,j]
        # 如果某个物品评分值为0,意味着用户没有对该物品评分,跳过
        if userRating == 0 : continue
        # 寻找两个用户都评级的物品,变量overLap给出的是两个物品当中已经被评分的那个元素
        overLap = nonzero(logical_and(dataMat[:, item].A>0, dataMat[:, j].A>0))[0]
        # 若两者没有任何重合元素,则相似度为0且中止本次循环
        if len(overLap) == 0 : similarity = 0
        # 如果存在重合的物品,则基于这些重合物品计算相似度
        else : similarity = simMeas(dataMat[overLap, item], dataMat[overLap, j])
        # print 'the %d and %d similarity is : %f' % (item, j, similarity)
        # 随后相似度不断累加
        simTotal += similarity
        ratSimTotal += similarity * userRating
    if simTotal == 0 : return 0
    # 通过除以所有的评分总和,对上述相似度评分的乘积进行归一化。这使得评分值在0-5之间,
    # 而这些评分值则用于对预测值进行排序
    else : return ratSimTotal/simTotal

# 推荐引擎,会调用standEst()函数,产生最高的N个推荐结果。
# simMeas:相似度计算方法
# estMethod:估计方法
def recommend(dataMat, user, N=3, simMeas=cosSim, estMethod=standEst) :
    # 寻找未评级的物品,对给定用户建立一个未评分的物品列表
    unratedItems = nonzero(dataMat[user, :].A==0)[1]
    # 如果不存在未评分物品,退出函数,否则在所有未评分物品上进行循环
    if len(unratedItems) == 0 : return 'you rated everything'
    itemScores = []
    for item in unratedItems :
        # 对于每个未评分物品,通过调用standEst()来产生该物品的预测评分。
        estimatedScore = estMethod(dataMat, user, simMeas, item)
        # 该物品的编号和估计得分值会放在一个元素列表itemScores
        itemScores.append((item, estimatedScore))
    # 寻找前N个未评级物品
    return  sorted(itemScores, key=lambda jj : jj[1], reverse=True)[:N] 

我们以一个更大的用户-菜肴矩阵来详细的说明算法的流程,用户-菜肴矩阵如下图:


模拟算法过程如下:

1.进入recommend函数,设置user=Brett=0,dataMat为用户-菜肴矩阵


2.计算unratedItems,先看dataMat[user, :].A==0得出的是布尔值,所以我们观察矩阵,
dataMat[0, :].A 是 [2,0,0,4,4,0,0,0,0,0,0]
dataMat[0, :].A==0 得出的列表是 [F,T,T,F,F,T,T,T,T,T,T],F表示false,t表示true
nonzero(dataMat[user, :].A==0)得出的数组是array([1,2,5,6,7,8,9,10],dtype=int64)
 unratedItems =nonzero(dataMat[user, :].A==0)[0]得出的数组是[1,2,5,6,7,8,9,10]
发现 len(unratedItems) != 0
执行 itemScores = []
item为[1,2,5,6,7,8,9,10]中的其中一个,首先取item为1
执行estimatedScore = estMethod(dataMat, Brett, simMeas,1)


3.进入standEst函数,设置user=Brett,dataMat为用户-菜肴矩阵,item为1
执行 n = shape(dataMat)[1],n=11
simTotal = 0.0; ratSimTotal = 0.0
执行for j in range(n) :取j为0
执行userRating = dataMat[user,j],可以看出userRating = dataMat[0, 0]=2 
执行overLap = nonzero(logical_and(dataMat[:, item].A>0, dataMat[:, j].A>0))[0]
dataMat[:, item].A >0= dataMat[:, 1].A>0=[ F,F,F,T,T,F,F,F,F,F,T ]
dataMat[:, j].A >0= dataMat[: , 0].A>0  = [ T.F.F.T.T.F.T.F.F.F.T ]
logical_and(dataMat[:, item].A>0, dataMat[:, j].A>0)=[F,F,F,T,T,F,F,F,F,F,T],这样就使得两个评分为0的用户的值为False
overLap = nonzero(logical_and(dataMat[:, item].A>0, dataMat[:, j].A>0))[0] = [3,4,10]
可以看出 len(overLap) != 0
执行similarity = simMeas(dataMat[overLap, 1], dataMat[overLap, 0]),

即将(3,5,1),(3,5,1)这两个向量余弦化,得:

 similarity = (3*3+5*5+1*1)/[sqrt(3^2+5^2+1^2)*sqrt(3^2+5^2+1^2)]=1

 simTotal = 0+1=1,  ratSimTotal = 0+1*2=2
 
 4.然后再次执行for j in range(n) :取j为1
 执行userRating = dataMat[user,j],可以看出userRating = dataMat[0, 1]=0
 执行if userRating == 0 : continue ,这里就规避了未被评分的物品的影响
 
  5.依次类推
 得出 ratSimTotal/simTotal
 
  6.再返回recommend函数,执行itemScores.append((item, estimatedScore))=itemScores.append((1, estimatedScore))等,
 计算出每个未评级物品的相应得分
 执行并返回 sorted(itemScores, key=lambda jj : jj[1], reverse=True)[:N] ,寻找前N个未评级物品
 
  7.结果分析,得分越高,说明给用户推荐该物品,用户喜欢的可能性就越大。 整个算法其实就是在做一件事情,计算所有未评级物品与已评级物品的相似度,并打分。
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值