集体智慧编程（一）提供推荐

本章主要内容是，如何根据群体偏好来为人们提供推荐，构建一个系统，用来寻找具有相同品味的人，并根据他人的喜好来推荐物品。基于此的应用有很多，比如电商系统的商品推荐、热门网站推荐，以及音乐和电影推荐等等应用。

协同过滤

想要推荐，首先应该知道用户的喜好，最简单的方式莫过于询问，但是随着数据量的增多，这种方式不切实际。因此人们发展了一种称为协同过滤的技术。

基于用户的协同过滤的做法是对一大群人进行搜索，并且从中找出与我们喜好相近的一小群人。然后我们通过某种算法对这些人偏爱的其他内容进行考查，并且将他们组合起来构造出来一个经过排名了的推荐列表。这就是最简单的一个实现。

1. 搜集用户偏好
   此书用Python实现算法，搜集偏好使用的是字典嵌套字典，形如critics={'Lisa': {'film1':2,'film2':3}}这样的评分方式，评分从1–5代表喜好程度。
2. 寻找相近用户
   找到某一种算法可以计算用户之间的相似度，从而得到相似度评价值，这里介绍了两种方式：欧几里得距离和皮尔逊相关度。
   （一）欧几里得距离：最简单的解释就是距离公式。将每一个电影作为一个特征，评分作为在此特征上的偏移，两个人对于电影评分的空间距离越近，代表两人越相似。
   欧几里得公式：
   $$d=sqrt( ∑(x_1-x_2)^2 )$$
   （二）皮尔逊相关系数：某些情况下，两个人对于某些电影的评价相似，但是评价分数一个人比另一个人偏高。例如，A对于电影1评分1分，对于电影2评分4分，而B对于电影1评分2分，对于电影2评分5分，这时，我们也认为两人为相似用户，在这个情况之下，用欧几里得公式计算是不行的，因此可以使用皮尔逊相关系数。
   $$\rho = \frac{cov(X，Y)}{\sigma_x\sigma_y}=\frac{E((X-\mu_x)(Y-\mu_y))}{\sigma_x\sigma_y}=\frac{E(XY)-E(X)E(Y)}{\sqrt {E(X^2)-E^2(X)}\sqrt {E(Y^2)-E^2(Y)}}$$
   计算公式如下：
   $$\rho=\frac{ N{\sum{XY}}-\sum{X}\sum{Y}}{\sqrt{N{\sum{X^2}-(\sum{X})^2} } \sqrt{N{\sum{Y^2}-(\sum{Y})^2} } }$$
   计算要点：找出两者都曾评价过的物品。然后计算两者的评分总和以及平方和，并求得评分的乘积之和。最后利用上述公式计算ρ.

代码实现

#Python
critics = {'Lisa Rose': {'Lady in the Water': 2.5, 'Snakes on a Plane': 3.5,
                         'Just My Luck': 3.0, 'Superman Returns': 3.5, 'You, Me and Dupree': 2.5,
                         'The Night Listener': 3.0},
           'Gene Seymour': {'Lady in the Water': 3.0, 'Snakes on a Plane': 3.5,
                            'Just My Luck': 1.5, 'Superman Returns': 5.0, 'The Night Listener': 3.0,
                            'You, Me and Dupree': 3.5},
           'Michael Phillips': {'Lady in the Water': 2.5, 'Snakes on a Plane': 3.0,
                                'Superman Returns': 3.5, 'The Night Listener': 4.0},
           'Claudia Puig': {'Snakes on a Plane': 3.5, 'Just My Luck': 3.0,
                            'The Night Listener': 4.5, 'Superman Returns': 4.0,
                            'You, Me and Dupree': 2.5},
           'Mick LaSalle': {'Lady in the Water': 3.0, 'Snakes on a Plane': 4.0,
                            'Just My Luck': 2.0, 'Superman Returns': 3.0, 'The Night Listener': 3.0,
                            'You, Me and Dupree': 2.0},
           'Jack Matthews': {'Lady in the Water': 3.0, 'Snakes on a Plane': 4.0,
                             'The Night Listener': 3.0, 'Superman Returns': 5.0, 'You, Me and Dupree': 3.5},
           'Toby': {'Snakes on a Plane': 4.5, 'You, Me and Dupree': 1.0, 'Superman Returns': 4.0}}


from math import sqrt

def sim_pearson(prefs, p1, p2):
    # Get the list of mutually rated items
    si = {}
    for item in prefs[p1]:
        if item in prefs[p2]:
            si[item] = 1

    # if they are no ratings in common, return 0
    if len(si) == 0:
        return 0

    # Sum calculations
    n = len(si)

    # Sums of all the preferences
    sum1 = sum([prefs[p1][it] for it in si])
    sum2 = sum([prefs[p2][it] for it in si])

    # Sums of the squares
    sum1Sq = sum([pow(prefs[p1][it], 2) for it in si])
    sum2Sq = sum([pow(prefs[p2][it], 2) for it in si])

    # Sum of the products
    pSum = sum([prefs[p1][it] * prefs[p2][it] for it in si])

    # Calculate r (Pearson score)
    num = pSum - (sum1 * sum2 / n)
    den = sqrt((sum1Sq - pow(sum1, 2) / n) * (sum2Sq - pow(sum2, 2) / n))
    if den == 0:
        return 0

    r = num / den

    return r

print(sim_pearson(critics,'Lisa Rose','Gene Seymour'))
0.396059017191

物品推荐

用上述计算相似度方法计算得出相似度以后，将所有用户对某一部电影的评分乘以相似度再求和再除以相似度求和，从而得到预测的用户对该部电影的评分，从而决定是否推荐给用户。代码如下：

#Python
见书 P16

匹配商品

基于物品的协同过滤使用的方式是，用户群体对于该物品的评分如果对其他另外一个物品相似，则认为两物品为相似物品。算法跟上述相似度算法相同。

两者的选择

基于用户的协同过滤和物品的协同过滤，在数据集变大的时候，生成推荐列表的速度，很明显是基于物品的协同过滤较快，因为没有冷启动的问题，但是它会有维护相似用户表的空间消耗。

补充说明

下面说明一下几种常用的相似度计算的方法。
1. 余弦相似性
2. 修正的余弦相似性
3. 相关相似性
4. 欧氏距离