《集体智慧编程》P8-P18

收集偏好

critics={'Lisa Rose':{'Lady in the Water':2.5,'Snakes on a Plane':3.5,'Just My Luck':3.0,'Superman Returns':3.5,'You,Me and Dupree':2.5,'The Night Listener':3.0},'Gene Seymour':{'Lady in the Water':3.0,'Snakes on a Plane':3.5,'Just My Luck':1.5,'Superman Returns':5.0,'You,Me and Dupree':3.5,'The Night Listener':3.0},'Michael Phillips':{'Lady in the Water':2.5,'Snakes on a Plane':3.0,'Superman Returns':3.5,'The Night Listener':4.0},'Claudia Puig':{'Snakes on a Plane':3.5,'Just My Luck':3.0,'Superman Returns':4.0,'You,Me and Dupree':2.5,'The Night Listener':4.5},'Mick LaSalle':{'Lady in the Water':3.0,'Snakes on a Plane':4.0,'Just My Luck':2.0,'Superman Returns':3.0,'You,Me and Dupree':2.0,'The Night Listener':3.0},'Jack Matthews':{'Lady in the Water':3.0,'Snakes on a Plane':4.0,'Superman Returns':5.0,'You,Me and Dupree':3.5,'The Night Listener':3.0},'Toby':{'Snakes on a Plane':4.5,'Superman Returns':4.0,'You,Me and Dupree':1.5}}

数据集已手打，需要自取。

欧几里得距离评价

书上介绍的是：它以经过人们一致评价的物品为坐标轴，然后将参与评价的人绘制到图上，并考察他们彼此间距离的远近。PS：如果有三个都评价过的物品，就是三维坐标。计算两个人之间的距离，可以计算出每一轴方向上的差值，求平方后再相加，最后对总求取平方根。代码如下：

def sim_distance(prefs,person1,person2):
    si={}
    #匹配出相同的电影
    for item in prefs[person1]:
        if item in prefs[person2]:
            si[item]=1
    if len(si)==0:return 0#如果两者没有共同之处，则返回0
    #return si
    #计算所有差值的平方和
    sum_of_squares=sum([pow(prefs[person1][item]-prefs[person2][item],2)for item in si])
    return 1/(1+sqrt(sum_of_squares))

皮尔逊相关度评价（修正了夸大分值情况）

皮尔逊相关系数：判断两组数据与某一直线拟合程度的一种度量。问题一：这是两组什么样的数据？问题二：直线怎么确定？问题三：拟合程度怎么判定？解答：1.再此次例子中，两组数据分布是两个用户对共同看过影片的评分，一个用户为横坐标轴，另一个为纵坐标轴，即可把影片画到该二维图上。2.该直线尽可能靠近图上所有的坐标点。3.分别求出两位用户的评分总和，平方和，评分乘积之和，再之后的计算比较复杂，大家之间阅读代码吧。

def sim_pearson(prefs,p1,p2):
    si = {}
    # 匹配出相同的电影
    for item in prefs[p1]:
        if item in prefs[p2]:
            si[item] = 1
    n=len(si)
    if n==0:return 1#如果两者没有共同之处，则返回1
    #对所有偏好求和
    sum1=sum([prefs[p1][it] for it in si])
    sum2 = sum([prefs[p2][it] for it in si])
    #求平方和
    sum1Sq=sum([pow(prefs[p1][it],2) for it in si])
    sum2Sq = sum([pow(prefs[p2][it], 2) for it in si])
    #求乘积之和
    pSum=sum([prefs[p1][it]*prefs[p2][it]for it in si])
    #计算皮尔逊评价值
    num=pSum-(sum1*sum2/n)
    den=sqrt((sum1Sq-pow(sum1,2)/n)*(sum2Sq-pow(sum2,2)/n))
    if den==0:return 0
    r=num/den
    return r

为评论者打分（找到与某一用户相似品味的其他用户）

利用上述两种评分方法中的一种，然后指定某一成员对每个人评分。

#从返回偏好的字典中返回最为匹配者，返回结果的个数和相似度函数均可为可选参数
def topMatches(prefs,person,n=5,similarity=sim_pearson):
    scores=[(similarity(prefs,person,other),other)for other in prefs if other!=person]
    #对列表进行排序，评价值最高者排在最前面
    scores.sort()#由小到大
    scores.reverse()#翻转
    return scores[0:n]

推荐物品

加权评价值：相似度*评价值取和再除以相似度之和

def getRecommendations(prefs,person,similaroty=sim_pearson):
    totals={}
    simSums={}
    for other in prefs:
        if other==person:continue
        sim=similaroty(prefs,person,other)
        #忽略评价值为0或小于0的情况
        if sim<=0:continue
        for item in prefs[other]:
            #只对自己还未看过的影片进行评价
            if item not in prefs[person] or prefs[person][item]==0:
                totals.setdefault(item,0)
                #相似度*评价值
                totals[item]+=prefs[other][item]*sim
                #相似度之和
                simSums.setdefault(item,0)
                simSums[item]+=sim
    #建立一个归一化的列表
    rankings=[(total/simSums[item],item)for item,total in totals.items()]#.items()函数：返回可遍历的(键, 值) 元组数组
    #返回排序后的列表
    rankings.sort()
    rankings.reverse()
    return rankings

匹配商品

找到哪写商品是彼此相近的，与此前用来决定人与人之间相似度的方法是一样的，只需要将人员与物品对换。以下就是转换过程。

def transformPrefs(prefs):
    result={}
    for person in prefs:
        for item in prefs[person]:
            result.setdefault(item,{})
            result[item][person]=prefs[person][item]
    return result

测试代码

import recommendations
#欧几里得距离
EDS=recommendations.sim_distance(recommendations.critics,'Lisa Rose','Gene Seymour')
#皮尔逊相关度
PCS=recommendations.sim_pearson(recommendations.critics,'Lisa Rose','Gene Seymour')
#为评论者打分
RC=recommendations.topMatches(recommendations.critics,'Toby',n=3)
#推荐物品
RI=recommendations.getRecommendations(recommendations.critics,'Toby')
#匹配物品
movies=recommendations.transformPrefs(recommendations.critics)
MP=recommendations.topMatches(movies,'Superman Returns')
print(RI)