【Python机器学习】利用SVD简化数据——示例：菜肴推荐引擎

现在，构建一个推荐引擎，该推荐引擎关注的是餐馆食物的推荐。假设一个人决定外出吃饭，但并不知道去哪吃什么，我们这个推荐系统就可以帮他做到这两点。

首先我们构建一个基本的推荐引擎，它能够寻找用户没有尝过的菜肴，然后，通过SVD来减少特征空间并提高推荐的效果。这之后，将程序打包并通过用户可读的人机界面提供给人们使用。最后，我们可以看构建推荐系统时会面临的一些问题。

推荐未尝过的菜肴

推荐系统的工作过程一般是：给定一个用户，系统会为此用户返回N个最好的推荐菜。为了实现这一点，则需要我们做到：

1、寻找用户没有评级的菜肴，即在用户-物品矩阵中的0值；

2、在用户没有评级的所有物品中，对每个物品预计一个可能的评级分数。这就是说，我们认为用户可能会对物品的打分（这就是相似度计算的初衷）；

3、对这些物品的评分从高到低进行排序，返回前N个物品。

接下来，是具体的代码实现：

from numpy import *
from numpy import linalg as la


def cosSim(inA,inB):
        num=float(inA.T*inB)
        denom=la.norm(inA)*la.norm(inB)
        return 0.5+0.5*(num/denom)

#用来计算在给定相似度计算方法的条件下，用户对物品的估计评分值
def standEst(dataMat,user,simMeas,item):
        n=shape(dataMat)[1]
        simTotal=0.0
        ratSimTotal=0.0
        for j in range(n):
                userRating=dataMat[user,j]
                if userRating == 0 :
                        continue
                overLap=nonzero(logical_and(dataMat[:,item].A>0,dataMat[:,j].A>0))[0]
                if len(overLap)==0:
                        similarity=0
                else:
                        similarity=simMeas(dataMat[overLap,item],dataMat[overLap,j])
                print('the %d and %d similarity is : %f' % (item,j,similarity))
                simTotal=simTotal+similarity
                ratSimTotal=ratSimTotal+similarity*userRating
        if simTotal==0:
                return 0
        else:
                return ratSimTotal/simTotal
#推荐引擎，它会调用standEst()函数
def recommend(dataMat,user,N=3,simMeas=cosSim,estMethod=standEst):
        unratedItems=nonzero(dataMat[user,:].A==0)[1]
        if len(unratedItems)==0:
                return 'you rated everything'
        itemScores=[]
        for item in unratedItems:
                estimatedScore=estMethod(dataMat,user,simMeas,item)
                itemScores.append((item,estimatedScore))
        return sorted(itemScores,key=lambda jj:jj[1],reverse=True)[:N]

上述代码包含了两个函数：第一个是standEst()，用来计算在给定相似度计算方法的条件下，用户对物品的估计评分值。第二个函数是recommend()，也就是推荐引擎，它会调用standEst()函数。

standEst()函数的输入参数包括数据矩阵、用户编号、物品编号、相似度计算方法。假设这里的数据矩阵的形式为行对应用户、列对应物品。那么，我们首先会得到数据集中的物品数目，然后对两个后面用于计算估计评分值的变量进行初始化。接着，我们遍历行中的每个物品。如果某个物品评分值为0，就意味着用户没有对该物品评分，跳过了这个物品。该循环大体上是对用户评过分的每个物品进行遍历，并将它和其他物品进行比较。变量overLap给出的是两个物品当中已经被评分的那个元素。如果两个没有任何重合元素，则相似度为0且中止本次循环。但是如果存在重合的物品，则基于这些重合物品计算相似度。随后，相似度会不断累加，每次计算时还考虑相似度和当前用户评分的乘积。最后，通过除以所有的评分总和，对上述相似度评分的乘积进行归一化。这就可以使得最后的评分值在0到5之间，而这些评分值则用于对预测值进行排序。

函数recommend()产生了最高的N个推荐结果。如果不指定N的大小，则默认值为3。该函数另外的参数还包括相似度计算方法和估计方法。我们可以使用任一种相似度计算方法。函数第一件事就是对给定用户建立一个未评分的物品列表。如果不存在未评分物品，那么就退出函数；否则，在所有的未评分物品上进行循环。对每个未评分物品，则通过调用standEst()来产生该物品的预测得分。该物品的编号和估计得分值会放在一个元素列表itemScores中。最后按照估计得分，对该列表进行排序并返回。该列表是从小到大逆序排列的。因此其第一个值就是最大值。

观察实际运行效果：

首先，原始数据：

def loadExData():
    return [[4,4,0,2,2],
            [4,0,0,3,3],
            [4,0,0,1,1],
            [1,1,1,2,0],
            [2,2,2,0,0],
            [1,1,1,0,0],
            [5,5,5,0,0]]

现在尝试默认的推荐：

mymat=mat(loadExData())
print(recommend(mymat,2))

这代表用户2对物品2的预测评分值为2.5，对物品1的预测评分值为2.05。下面我们就利用其他的相似度计算方法来进行推荐：

print(recommend(mymat,2,simMeas=euclidSim))
print(recommend(mymat,2,simMeas=pearsSim))

我们可以对多个用户进行尝试，或者对数据集做些修改来了解其给预测结果带来的变化。

利用SVD提高推荐的效果

实际的数据集会比我们用于展示recommend()函数功能的mymat矩阵稀疏的多。比如下图的数据集：

我们可以将该矩阵输入到程序中，下面来计算该矩阵的SVD来了解其到底需要多少维特征：

def loadExData2():
    return[[0, 0, 0, 0, 0, 4, 0, 0, 0, 0, 5],
           [0, 0, 0, 3, 0, 4, 0, 0, 0, 0, 3],
           [0, 0, 0, 0, 4, 0, 0, 1, 0, 4, 0],
           [3, 3, 4, 0, 0, 0, 0, 2, 2, 0, 0],
           [5, 4, 5, 0, 0, 0, 0, 5, 5, 0, 0],
           [0, 0, 0, 0, 5, 0, 1, 0, 0, 5, 0],
           [4, 3, 4, 0, 0, 0, 0, 5, 5, 0, 1],
           [0, 0, 0, 4, 0, 4, 0, 0, 0, 0, 4],
           [0, 0, 0, 2, 0, 2, 5, 0, 0, 1, 2],
           [0, 0, 0, 0, 5, 0, 0, 0, 0, 4, 0],
           [1, 0, 0, 0, 0, 0, 0, 1, 2, 0, 0]]
U,Sigma,VT=la.svd(loadExData2())
print('Sigma：',Sigma)

接下来看到底有多少个奇异值能达到总能量的90%，首先对Sigma的值求平方，然后计算总能量计总能量的90%：

Sig2=Sigma**2
print(sum(Sig2)*0.9)

计算前两个元素所包含的能量：

print(sum(Sig2[:2]))

该值低于总能量的90%，所以改为计算前三个元素所包含的能量：

print(sum(Sig2[:3]))

这次高于总能量的90%，然后，我们可以将一个11维的矩阵转换成一个3维的矩阵。下面对转换后的三维空间构造出一个相似度计算函数。我们利用SVD将所有的菜肴映射到一个低维空间中区。在低维空间下，可以利用之前相同的相似度计算方法来进行推荐：

def svdEst(dataMat,user,simMeas,item):
    n=shape(dataMat)[1]
    simTotal=0.0
    ratSimTotsl=0.0
    U, Sigma, VT = la.svd(loadExData2())
    Sig4=mat(eye(4)*Sigma[:4])
    xformdItems=dataMat.T*U[:,:4]*Sig4.I
    for j in range(n):
        userRating=dataMat[user,j]
        if userRating==0 or j==item:
            continue
        similarity=simMeas(xformdItems[item,:].T,xformdItems[j,:].T)
        print('the %d and %d similarity is : %f' % (item, j, similarity))
        simTotal=simTotal+similarity
        ratSimTotsl=ratSimTotsl+similarity*userRating
        if simTotal==0:
            return 0
        else:
            return ratSimTotsl/simTotal

上述代码中只有一个函数svdEst()。在recommend()中，这个函数用于替换对standEst()的调用，该函数对给定用户给定物品构建了一个评分估计值。这个函数的第三行对数据集进行了SVD分解。在SVD分解之后，我们只利用包含了90%能量值的奇异值，这些奇异值会以NumPy数组的形式得以保存。因此如果要进行矩阵运算，那么就必须要用这些奇异值构建出一个对角矩阵，然后，利用U矩阵将物品转换到低维空间中。

对于给定的用户，for循环在用户对应行的所有元素上进行遍历。这和standEst()函数中的for循环的目的一样，只不过这里的相似度计算是在低维空间下进行的。相似度的计算方法也会作为一个参数传递给该函数。然后，我们对相似度求和，同时对相似度及对应评分值的乘积求和。这些值返回之后则用于估计评分的计算。

下面是程序的执行效果：

myMat=mat(loadExData2())
print(recommend(myMat,1,estMethod=svdEst))

以另一种相似度计算方法测试：

myMat=mat(loadExData2())
print(recommend(myMat,1,estMethod=svdEst,simMeas=pearsSim))

构建推荐引擎面临的调整

上面的代码很好的展示出了推荐引擎的工作流程以及SVD将数据映射为重要特征的过程。

但推荐引擎还存在其他很多规模扩展的调整性问题，比如矩阵的表示方法：实际系统中的0非常多，也许我们可以通过只存储非零元素来节省内存和计算开销。另一个潜在的计算资源莱菲则来自于相似度得分，普遍的做法是离线计算并保存相似度得分。

推荐引擎面临的另一个问题是如何在缺乏数据时给出好的推荐，这称为冷启动问题，处理起来十分困难。这个问题的另一个说法是，用户不会喜欢一个无效的物品，而用户不喜欢的物品又无效。

冷启动问题的解决方案，就是将推荐看成是搜索问题，在内部表现上，不同的解决办法虽然有所不同，但是对用户而言都是透明的。为了将推荐看成是搜索问题，我们可能要使用所需要推荐物品的属性。同时，我们也可以将这些属性作为相似度计算所需要的数据，这被称为基于内容的推荐。可能，基于内容的推荐并不如基于协同过滤的推荐效果好，但它是一个良好的开始。