集体智慧编程（2）——提供推荐

最新推荐文章于 2021-06-29 18:08:31 发布
最新推荐文章于 2021-06-29 18:08:31 发布
阅读量584 收藏
点赞数
分类专栏： 详解《集体智慧编程》 文章标签： 集体智慧编程 算法
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/greenlight_74110/article/details/77575858
版权

第二章 提供推荐

摘要：本章将主要讲述，如何根据群体中的个人兴趣偏爱来为其他人提供推荐。

协作性过滤

对一大群人进行搜索，并从中找出与你的品味相似的人

搜集偏好

构造数据集

# A dictionary of movie critics and their ratings of a small set of movies
critics = {'Lisa Rose': {'Lady in the Water': 2.5, 'Snakes on a Plane': 3.5,
                         'Just My Luck': 3.0, 'Superman Returns': 3.5, 'You, Me and Dupree': 2.5,
                         'The Night Listener': 3.0},
           'Gene Seymour': {'Lady in the Water': 3.0, 'Snakes on a Plane': 3.5,
                            'Just My Luck': 1.5, 'Superman Returns': 5.0, 'The Night Listener': 3.0,
                            'You, Me and Dupree': 3.5},
           'Michael Phillips': {'Lady in the Water': 2.5, 'Snakes on a Plane': 3.0,
                                'Superman Returns': 3.5, 'The Night Listener': 4.0},
           'Claudia Puig': {'Snakes on a Plane': 3.5, 'Just My Luck': 3.0,
                            'The Night Listener': 4.5, 'Superman Returns': 4.0,
                            'You, Me and Dupree': 2.5},
           'Mick LaSalle': {'Lady in the Water': 3.0, 'Snakes on a Plane': 4.0,
                            'Just My Luck': 2.0, 'Superman Returns': 3.0, 'The Night Listener': 3.0,
                            'You, Me and Dupree': 2.0},
           'Jack Matthews': {'Lady in the Water': 3.0, 'Snakes on a Plane': 4.0,
                             'The Night Listener': 3.0, 'Superman Returns': 5.0, 'You, Me and Dupree': 3.5},
           'Toby': {'Snakes on a Plane': 4.5, 'You, Me and Dupree': 1.0, 'Superman Returns': 4.0}}

查询、修改的测试语句

python  # 打开python解释器
from recommendations import critics #   将critics加载到内存中，但一般更通常的做法是将其存入一个数据库中
critics['Lisa Rose']['Lady in the Water']   #   查询Lisa Rose对Lady in the Water的评分
critics['Toby']['Snakes on a Plane']=4.6    # 修改'Snakes on a Plane'由4.5到4.6
critics['Toby']     #查询Toby的所有电影评分

需找相似的用户

欧几里德距离评价

思想：以经过人们一致评价的物品作为坐标轴，将参与评价的人绘制到图上，考查他们彼此间的距离远近。距离越近，则二者的相似度越高。
这里写图片描述
在recommendnations.py中加入以下语句

from math import sqrt


# 返回person1和person2基于距离的相似度评价
def sim_distance(prefs, person1, person2):
    # 得到二者一致评价的物品的列表
    si = {}
    for item in prefs[person1]:
        if item in prefs[person2]: si[item] = 1

    # 如果二者没有一致评价的物品，则返回0
    if len(si) == 0: return 0

    # 计算所有差值的平方和
    sum_of_squares = sum([pow(prefs[person1][item] - prefs[person2][item], 2)
                          for item in prefs[person1] if item in prefs[person2]])

    return 1 / (1 + sum_of_squares)

给出Lisa Rose和Gene Seymour的相似度评价

import recommendations
import importlib
importlib.reload(recommendations)   #   python3中的reload用法
recommendations.sim_distance(recommendations.critics,'Lisa Rose','Gene Seymour')    #   retrun 0.148148.... （此处中文版的书中有误）

皮尔逊相关度评价 （实际上就是概率论里学的相关系数，等于X、Y的协方差除以X、Y标准差的乘积）

思想：以参与评价的人作为坐标轴，将一致评价的物品绘制到图上，拟合出一条直线，尽可能的经过（靠近）多的点。通过比较两组数据与拟合直线的拟合度，来决定二者的相似度。
这里写图片描述

# 返回p1和p2的皮尔逊相关系数
def sim_pearson(prefs, p1, p2):
    # 得到二者一致评价的物品（偏好）的列表
    si = {}
    for item in prefs[p1]:
        if item in prefs[p2]: si[item] = 1

    # 如果二者没有一致评价的物品（偏好），则返回0
    if len(si) == 0: return 0

    # 一致评价的物品总数
    n = len(si)

    # 所有偏好求和
    sum1 = sum([prefs[p1][it] for it in si])
    sum2 = sum([prefs[p2][it] for it in si])

    # 所有偏好求平方和
    sum1Sq = sum([pow(prefs[p1][it], 2) for it in si])
    sum2Sq = sum([pow(prefs[p2][it], 2) for it in si])

    # 求乘积和
    pSum = sum([prefs[p1][it] * prefs[p2][it] for it in si])

    # 计算皮尔逊相关系数r
    num = pSum - (sum1 * sum2 / n)
    den = sqrt((sum1Sq - pow(sum1, 2) / n) * (sum2Sq - pow(sum2, 2) / n))
    if den == 0: return 0

    r = num / den

    return r

import recommendations
import importlib
importlib.reload(recommendations)
recommendations.sim_pearson(recommendations.critics,'Lisa Rose','Gene Seymour') 
#   return 0.39605901719066977

为评论者打分

# 从偏好字典中返回最佳匹配者 
# 返回结果个数和相似度函数均为可选参数
def topMatches(prefs,person,n=5,similarity=sim_pearson):
  scores=[(similarity(prefs,person,other),other) 
                  for other in prefs if other!=person]
# 对评论进行排序，由高到低
  scores.sort()
  scores.reverse()
  return scores[0:n]
import recommendations
import importlib
importlib.reload(recommendations)
recommendations.topMatches(recommendations.critics,'Toby',n=3) 
#   return [(0.9912407071619299, 'Lisa Rose'), (0.9244734516419049, 'Mick LaSalle'), (0.8934051474415647, 'Claudia Puig')]

推荐物品

这里写图片描述

# 利用其他所有人的加权平均，为某人提供建议
def getRecommendations(prefs, person, similarity=sim_pearson):
    totals = {}
    simSums = {}
    for other in prefs:
        # 不要和自己作比较
        if other == person: continue
        sim = similarity(prefs, person, other)

        # 忽略不大于0的相似度评分
        if sim <= 0: continue
        for item in prefs[other]:

            # 仅为我没有看过的电影评分
            if item not in prefs[person] or prefs[person][item] == 0:
                # 相似度*评分
                totals.setdefault(item, 0)
                totals[item] += prefs[other][item] * sim
                # 参与评分的人的相似度求和
                simSums.setdefault(item, 0)
                simSums[item] += sim

    # 建立归一化列表
    rankings = [(total / simSums[item], item) for item, total in totals.items()]

    # 排序，返回
    rankings.sort()
    rankings.reverse()
    return rankings

import recommendations
import importlib
importlib.reload(recommendations)
recommendations.getRecommendations(recommendations.critics,'Toby')  
#  return [(3.3477895267131013, 'The Night Listener'), (2.8325499182641614, 'Lady in the Water'), (2.530980703765565, 'Just My Luck')]

也可以指定使用欧几里德距离评价方式 

recommendations.getRecommendations(recommendations.critics,'Toby',similarity=recommendations.sim_distance)  
#   return [(3.5002478401415877, 'The Night Listener'), (2.7561242939959363, 'Lady in the Water'), (2.461988486074374, 'Just My Luck')]

匹配商品

将人与物品对调，就可以复用之前写的方法了。 

def transformPrefs(prefs):
  result={}
  for person in prefs:
    for item in prefs[person]:
      result.setdefault(item,{})

      # 将物品与人交换
      result[item][person]=prefs[person][item]
  return result
import recommendations
import importlib
importlib.reload(recommendations)
movies=recommendations.transformPrefs(recommendations.critics)
recommendations.topMatches(movies,'Superman Returns')
#   [(0.6579516949597695, 'You, Me and Dupree'), (0.4879500364742689, 'Lady in the Water'), (0.11180339887498941, 'Snakes on a Plane'), (-0.1798471947990544, 'The Night Listener'), (-0.42289003161103106, 'Just My Luck')]
#   相关度为负代表有不喜欢、讨厌的倾向

基于物品的过滤

  • 基于用户的协作型过滤
    即上述算法
  • 基于物品的协作型过滤
    思路：为每件物品预先计算好最为接近的其它物品
    优点：不会像用户间的比较那么频繁变化

构造物品比较数据集

def calculateSimilarItems(prefs,n=10):
  # 为与这些物品最为相近的其它物品建立字典
  result={}
  # 转变为以物品为中心
  itemPrefs=transformPrefs(prefs)
  c=0
  for item in itemPrefs:
    # 为大数据集更新状态变量
    c+=1
    if c%100==0: print "%d / %d" % (c,len(itemPrefs))
    # 找出最为接近的物品
    scores=topMatches(itemPrefs,item,n=n,similarity=sim_distance)
    result[item]=scores
  return result
reload(recommendations)
itemsim=recommendations.calculateSimilarItems(recommendations.critics)  
itemsim 
#   return {
'Lady in the Water': [(0.4, 'You, Me and Dupree'), (0.2857142857142857, 'The Night Listener'), (0.2222222222222222, 'Snakes on a Plane'), (0.2222222222222222, 'Just My Luck'), (0.09090909090909091, 'Superman Returns')], 
'Snakes on a Plane': [(0.2222222222222222, 'Lady in the Water'), (0.18181818181818182, 'The Night Listener'), (0.16666666666666666, 'Superman Returns'), (0.10526315789473684, 'Just My Luck'), (0.05128205128205128, 'You, Me and Dupree')], 
'Just My Luck': [(0.2222222222222222, 'Lady in the Water'), (0.18181818181818182, 'You, Me and Dupree'), (0.15384615384615385, 'The Night Listener'), (0.10526315789473684, 'Snakes on a Plane'), (0.06451612903225806, 'Superman Returns')], 
'Superman Returns': [(0.16666666666666666, 'Snakes on a Plane'), (0.10256410256410256, 'The Night Listener'), (0.09090909090909091, 'Lady in the Water'), (0.06451612903225806, 'Just My Luck'), (0.05333333333333334, 'You, Me and Dupree')], 
'You, Me and Dupree': [(0.4, 'Lady in the Water'), (0.18181818181818182, 'Just My Luck'), (0.14814814814814814, 'The Night Listener'), (0.05333333333333334, 'Superman Returns'), (0.05128205128205128, 'Snakes on a Plane')], 
'The Night Listener': [(0.2857142857142857, 'Lady in the Water'),(0.18181818181818182, 'Snakes on a Plane'), (0.15384615384615385, 'Just My Luck'), (0.14814814814814814, 'You, Me and Dupree'), (0.10256410256410256, 'Superman Returns')]
}

获得推荐

这里写图片描述
类似于上面的“推荐物品”中的算法

def getRecommendedItems(prefs,itemMatch,user):
  userRatings=prefs[user]
  scores={}
  totalSim={}
  # 循环遍历用户评分过的物品
  for (item,rating) in userRatings.items( ):

    # 循环遍历与当前物品相似的物品
    for (similarity,item2) in itemMatch[item]:

      # 忽略用户已经评价过的物品
      if item2 in userRatings: continue
      # 当前物品的评分与相似物品相似度的加权和
      scores.setdefault(item2,0)
      scores[item2]+=similarity*rating
      # 相似物品的相似度求和
      totalSim.setdefault(item2,0)
      totalSim[item2]+=similarity

  # 加权和除以相似度和，求出归一化评分
  rankings=[(score/totalSim[item],item) for item,score in scores.items( )]

  # Return the rankings from highest to lowest
  rankings.sort( )
  rankings.reverse( )
  return rankings
reload(recommendations)
recommendations.getRecommendedItems(recommendations.critics,itemsim,'Toby') 
#   return [(3.182634730538922, 'The Night Listener'), (2.5983318700614575, 'Just My Luck'), (2.4730878186968837, 'Lady in the Water')]

使用movielens数据集

def loadMovieLens(path='D:/Documents/PycharmProjects/jtzhbc/chapter2'):
    # 获取影片标题
    movies = {}
    for line in open(path + '/u.item'):
        (id, title) = line.split('|')[0:2]
        movies[id] = title

    # 加载数据
    prefs = {}
    for line in open(path + '/u.data'):
        (user, movieid, rating, ts) = line.split('\t')
        prefs.setdefault(user, {})
        prefs[user][movies[movieid]] = float(rating)
    return prefs

生成数据集

reload(recommendations)
prefs=recommendations.loadMovieLens( )

查看任意一位用户的评分情况 

prefs['87']
#   return {'Birdcage, The (1996)': 4.0, 'E.T. the Extra-Terrestrial (1982)': 3.0,
'Bananas (1971)': 5.0, 'Sting, The (1973)': 5.0, 'Bad Boys (1995)': 4.0,
'In the Line of Fire (1993)': 5.0, 'Star Trek: The Wrath of Khan (1982)': 5.0,
'Speechless (1994)': 4.0, etc...

基于用户的推荐

recommendations.getRecommendations(prefs,'87')[0:30]
#   return [(5.0, 'They Made Me a Criminal (1939)'), (5.0, 'Star Kid (1997)'),
(5.0, 'Santa with Muscles (1996)'), (5.0, 'Saint of Fort Washington (1993)'),
etc...]

基于物品的推荐

itemsim=recommendations.calculateSimilarItems(prefs,n=50)   # 生成物品相似度字典的过程可能比较耗时，但当生成以后的推荐耗时则不会再随着用户的增加而增加
recommendations.getRecommendedItems(prefs,itemsim,'87')[0:30]
# return [(5.0, "What's Eating Gilbert Grape (1993)"), (5.0, 'Vertigo (1958)'),
(5.0, 'Usual Suspects, The (1995)'), (5.0, 'Toy Story (1995)'),etc...]

完整的python代码可以在我的github地址上找到：https://github.com/GreenLight74110/PCI

John4July
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
读书笔记：“集体智慧编程”之第二章：推荐算法
zy825316的专栏
01-21 4776
什么是推荐？ 推荐，就是根据个人偏好，对某个人进行个性化推荐。 在线购物的商品推荐热门网站的推荐音乐推荐电影、电视的推荐 推荐的依据主要来自每个人过去的操作：购买、评分、评论。对这些过去的数据利用算法进行处理，就能得到这个人的偏好、甚至产生值得推荐的产品。 通常，我们会询问朋友有什么好看的电影，当然正常人都会询问和自己有着相同爱好的人。那么有一种算法叫做协同过滤：就是找到和目标用户有着
群体智慧编程：基于用户推荐算法和基于物品推荐算法
小M呀~之大数据系列
05-12 727
群体智慧编程：基于用户推荐算法和基于物品推荐算法 《群体智慧编程》第二章主要讲以下步骤： 搜集偏好，即收集数据 寻找相近的用户，通过使用欧几里得距离 、皮尔逊相关度评价以及其他相似度度量方法 为用户A推荐没有阅读过的物品，通过对相似用户的物品评价值加权得到用户A的大概评价值，根据排序向A推荐（这是基于用户的推荐算法） 商品匹配，即找到相似的商品。通过查看哪些人喜欢某一特定物品，以及这些人喜欢哪些其他物品来决定相似度，这各算法需要产生一个整体的物品相似度的表...
相似度计算方法总结
菜鸟也疯狂
06-23 1万+
转自：http://blog.sina.com.cn/s/blog_62b83291010127bf.html    在数据分析和数据挖掘的过程中，我们经常需要知道个体间差异的大小，进而评价个体的相似性和类别。最常见的是数据分析中的相关分析，数据挖掘中的分 类和聚类算法，如K最近邻（KNN）和K均值（K-Means）。当然衡量个体差异的方法有很多，最近查阅了相关的资料，这里整理罗列下。
python 时间曲线相似度计算_几种相似度计算方法的Python实现
weixin_39876592的博客
12-04 2749
在看《集体智慧编程》的时候跟着书顺手写的欧几里得距离# 返回person1 与 person2 基于欧几里得距离的相似度评价# sum_of squares = 所有 p1 与 p2 共同评价的物品的分数差的平方之和ß# 即在 "p1 与 p2 共同评价商品数量"维度 的空间中的欧几里得距离ßdef sim_distance(prefs, person1, person2):si = {}for ...
推荐算法学习
gm_Ergou的博客
06-29 222
参考链接： 普通算法：https://blog.csdn.net/u011748319/article/details/90269818 深度学习：https://blog.csdn.net/qq_34438672/article/details/90482987 tets1：https://blog.csdn.net/sinat_41625623/article/details/79943464 test2：https://blog.csdn.net/zhq9695/article/details
集体智慧编程书本及源码
06-15
此外，书中可能还会探讨集体智慧编程在不同领域的应用，如推荐系统、搜索引擎优化、社交网络分析等。这些案例研究可以帮助读者理解集体智慧如何在实际场景中发挥作用，以及如何将理论知识应用于实践中。 集体智慧...
集体智慧编程中文版
06-05
《集体智慧编程》将你带入机器学习和统计的世界，并且阐释了如何从你和他人每天收集的信息中获得关于用户体验、市场营销、个性品味及人类行为的结论。每个算法的描述都十分简明清晰，相关代码均可以立即用于你的网站...
IntelligencePJT:通过实例进行集体智能编程
06-28
首先，集体智能编程是一种将多个人的智慧和经验汇集在一起，形成一个更强大、更高效的解决方案的方法。在这个项目中，我们可能会遇到如何利用GitHub等版本控制系统进行协同开发，以及如何通过代码审查和讨论论坛来...
python写软件实例-用python写个简单的推荐系统示例程序
weixin_37988176的博客
10-29 397
用python写个简单的推荐系统示例程序作者：阿俊 发布于：2011-11-26 16:03 Saturday分类：推荐系统python这门语言写程序代码量非常少，短短几行就可以把程序写的很清楚，由于它严格的缩进格式，所以看起来也很容易看。其中，字典和列表递推式非常好用，写起来效率会非常非常高。但python的执行效率很低，所以主要的函数还要用c写，或者用c和python混合着写，用python丰...
集体智慧编程学习笔记--第二章
xuyang508的博客
12-28 537
前言 什么是集体智慧？ 答：为了创造新的想法，而将一群人的行为、偏好或思想组合在一起。 第二章：提供推荐 例子：影片推荐 一、名词：协作型过滤算法（collaborative filtering） 对一大群人进行搜索，从中找到与我们品味相近的一小群人。 二、搜集偏好 非常简单的方法是使用一个嵌套的字典 三、寻找品味相近的人 步骤：
集体智慧编程（一） Making Recommendations
船到桥头自然直
03-01 1534
协同过滤（Collaborative Filtering）是推荐系统常用的算法。它包括User-based和Item-based两种基本算法。 1.基于用户（User-based） 基于用户的CF主要流程是：寻找相似的用户——推荐物品。寻找相似用户时，书中提供了欧几里德距离（Euclidean Distance）和皮尔逊相关系数（Pearson Correlation）两种度量。
推荐算法
weixin_30718391的博客
07-11 91
各种相似度指标：https://www.cnblogs.com/arachis/p/Similarity.html 基于用户协同过滤 def getRecommendations(prefs,person,similarity=sim_pearson): simSum = {} totals = {} for other in prefs: ...
欧几里德距离、皮尔逊相关度、Tanimoto
昆兰.沃斯 的博客
07-10 4851
集体智慧编程正式开始了接触，第一课便是如何寻找想进用户（也就是两者的相似程度），正如大多数的推送服务一样，通过计算你和其他的用户的相似程度，给你推荐最佳匹配人认为很好的但是你还没有购买的东西。 这里重点讲了三个计算相似程度的评价方法：欧几里德距离、皮尔逊相关度、Tanimoto 测试数据如下：（就是嵌套字典，共7个人对使用过的商品的评价） critics={'Lisa Rose': {'L...
推荐之协同过滤（思路简单梳理）
LETFLY'S LAB
08-24 5592
recommendation（euclidean distance、pearson distance、tanimoto distance）腾讯推荐系统架构图
【机器学习】欧几里德距离和皮尔逊相关系数（笔记）
g616265424的专栏
11-20 7753
欧几里德距离和皮尔逊相关系数在机器学习中都是对相关度的计算，欧几里德距离是以人们一直评价的物品作为坐标轴，将参与评价的人绘制到图中，并考察他们彼此距离的远近。例子（摘自集体智慧编程）： #数据集 critics={ 'Lisa Rose': { 'Lady in the Water': 2.5, 'Snakes on a Plane': 3.5,
协同过滤 --- 数据挖掘学习笔记
OopsOutOfMemory盛利的博客
05-09 3282
Recommendation 参考文献：collective intelligence
Python做一个最简单的推荐系统
热门推荐
Negen.H
09-15 3万+
通过各自电影评分的情况，计算用户之间的相似度（欧氏距离、皮尔逊相似度） #!/usr/bin/env python3 # -*- coding: utf-8 -*- ''' @Time : 2018/9/15 8:19 @Author : Negen @Site : @File : recommend.py @Software: PyCharm ''' from math...
加权平均算法（集体智慧编程）
RobertXin
03-05 841
加权平均是这样一类求平均的运算：参与求平均运算的每一个观测变量都有一个对应的权重值。 加权平均的计算公式如图： 其中的x1....xn是观测变量，w1....wn是权重值。   我们现将其利用在影片的推荐。   我们可以查找与自己口味最为相近的人，并从他所喜欢的影片中找出一部自己还未看过的影片，不过这样做太随意了。有时，这种方法可能会有问题：评论者还未对某些影片做过评论，而这些影片也许...
协同过滤推荐算法
1.02^365=1377.41
12-31 2766
简单的理解协同过滤： 相似兴趣爱好的人喜欢相似的东西，具有相似属性的物品可以推荐给喜欢同类物品的人。比如，user A喜欢武侠片，user B也喜欢武侠片，那么可以把A喜欢而B没看过的武侠片推荐给B，反之亦然，这种模式称为基于用户的协同过滤推荐（User－User Collaborative Filtering Recommendation）；再比如User A买了《java 核心技术卷一》，那么可
阿里巴巴Java开发手册：终极编程指南
这份手册基于阿里巴巴集团的实战经验和集体智慧，针对现代软件行业对开发者的要求，不仅涉及编程技术，还关注到可能影响软件质量的各个层面，如数据库设计、工程组织和安全问题。手册将规约分为强制、推荐和参考三大...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值