集体智慧编程学习笔记--第二章

前言

什么是集体智慧？

答：为了创造新的想法，而将一群人的行为、偏好或思想组合在一起。

第二章：提供推荐

例子：影片推荐

一、名词：协作型过滤算法（collaborative filtering）

对一大群人进行搜索，从中找到与我们品味相近的一小群人。

二、搜集偏好

非常简单的方法是使用一个嵌套的字典

三、寻找品味相近的人

步骤：

1、将属性的值对应到数值。如喜欢：1不喜欢-1；已购买2，已浏览1未购买0；进行评分1，2，3，4

2、相似度评价值：用来确定与其他人的相似程度的度量。

常用两种度量：

①【欧几里得距离】：欧式空间上两点之间的距离的模值。 

python中pow(m,n) m的n次方 sqrt(m)m的平方根。

在使用aqrt时要注意，from math import sqrt

距离越小，偏好越接近。不过为了使得总是返回0-1之间的值，对距离进行处理1/(1+sqrt(pow(a-b,2)+pow(c-d),2)))，+1是为了避免被零整除。

这样，值越接近1就表示越相似。

代码

from math import sqrt

#返回一个person1和person2之间的基于距离的相似度评价
def sim_distance(prefs,person1,person2):
    #得到shared_items 的列表
    si = {}
    for item in prefs[person1]:
        if item in prefs[person2]:
            si[item] = 1

    #如果两者之间没有共同之处，返回0
    if len(si) == 0:
        return 0

    #计算所有差值的平方和
    sum_of_squares = sum([pow(prefs[person1][item] - prefs[person2][item],2)
                          for item in prefs[person1] if item in prefs[person2]])
    return 1/(1+sum_of_squares)

但是，如果影评者对影片的总体评价对于平均水平偏离很大，那么可能用距离的度量就不是很好。使用皮尔森系数会给出比较好的结果

②【皮尔逊相关系数】：就是线性相关程度。是介于-1与1之间的数，1完全正相关，-1完全负相关。

想想如果一个人对不同电影打分总是比另一个人偏高，而二者的分值只差又始终保持一致。

反应在坐标系上，数据会拟合成一条直线。两个的分数的相关程度越高，说明两人仍有着相对近似的偏好。

代码

#返回p1、p2的pearson相关系数
def sim_pearson(prefs,p1,p2):
    #得到双方都评价过的物品
    si = {}
    for item in prefs[p1]:
        if item in prefs[p2]:
           si[item] = 1

    #得到双方都评价过的物品的个数
    n = len(si)
    if n == 0:
        return 1

    #对所有偏好求和
    
    sum1 = sum([prefs[p1][it] for it in si])
    sum2 = sum([prefs[p2][it] for it in si])
    sum1Sq = sum([pow(prefs[p1][it],2) for it in si])
    sum2Sq = sum([pow(prefs[p2][it],2) for it in si])

    #求乘积之和
    pSum = sum([prefs[p1][it]*prefs[p2][it] for it in si])

    #计算pearson相关系数
    num = pSum - (sum1*sum2/n)
    den = sqrt((sum1Sq-pow(sum1,2)/n)*(sum2Sq-pow(sum2,2)/n))
    if den == 0: return 0

    r = num/den
    return r

③【其他度量】：jaccard系数、曼哈顿街区距离。

3、为评论者打分

就是将所有评论者的相似度进行列表排序，顺序由高到低。

#进行相似度评分，找出最佳匹配
def topMatches(prefs,person,n=5,similarity=sim_pearson):
    scores = [(similarity(prefs,person,other),other) for other in prefs if other!=person]

    #对列表进行排序，评价值高者排在最前面
    scores.sort(reverse=True)
    return scores[0:n]

代码中n代表显示趣味相投的前n个人

4、推荐物品

有一个问题是，有时候有的人对一部影片进行评论但未对另一部影片进行评论。还有一个问题是有的人会对一部影片进行比较偏激的评论。
为了解决这种问题，设置权值。把相似度看成权值，这样与被推荐人趣味相近的人对推荐做的贡献就大。
加权后的评价值= 评价值*相似度系数 ，影片得分=加权评价值之和 / 相似度系数之和

#利用所有他人的评价值的加权平均，为某人提供建议
def getRecommendations(prefs,person,similarity=sim_pearson):
    totals = {}#存放加权后评分之和
    simSums = {}#存放参与评价的相似度之和
    for other in prefs:
        if other == person: continue
        sim = similarity(prefs,person,other)

        #忽略评价值为零或者小于零的情况
        if sim<=0: continue
        for item in prefs[other]:

            #只对自己还没有看过的电影进行评价
            totals.setdefault(item,0)#如果某人没有评价，则将他的评价设置为0，不影响求和
            totals[item]+=prefs[other][item]*sim
            #相似度之和
            simSums.setdefault(item,0)
            simSums[item]+=sim
    #建立一个归一化的列表
    ranking = [(total/simSums[item],item) for item,total in totals.items()]
    #返回经过排序的列表,列表内元素是元组，默认对元组内第一个元素排序吗？看来是的
    
#如果把item放在前面，会按照首字母排序
    ranking.sort(reverse=True)
    return ranking

这样就得到了一个经过排名的影片列表，还可以据此推测出自己对每部影片的评价。

现在，就建立起一个推荐系统，适用于任何类型的商品推荐或者网络连接。

需要的就是建立一个有人员、物品、评价的字典。然后度量相似度。最后按照相似度排序进行推荐。