利用surprise实现基于协同过滤的简单推荐系统

一.背景

surprise（Simple Python Recommendation System Engine）作为scikit系列中经典的算法包，实现了推荐系统的简单框架。其中自带的算法包括baseline、协同过滤、SVD和NMF等，接口非常简单，上手也很容易。由于关于各种基于机器学习的推荐方法在很多博客中都有详细的讲解，本文侧重于工程实现。

二.代码实战

1. 相关包和数据集

# 基于surprise协同过滤 实现简单的top-n推荐系统
# 数据集采用surprise自带的MovieLens，或者也可下载到本地

from surprise import KNNBasic
from surprise import Dataset, Reader
from surprise.model_selection import train_test_split

# file_path 保存用户对电影的评分  格式为 用户|电影|评分|时间戳
file_path = '/Users/byron/.surprise_data/ml-100k/ml-100k/u.data'
reader = Reader(line_format='user item rating timestamp', sep='\t')
movie_data = Dataset.load_from_file(file_path=file_path, reader=reader)

train, test = train_test_split(movie_data, test_size=.2, random_state=1)

# 电影的相关信息 格式为 id|电影名称|发布日期|网站等信息
’‘’
['1682', 'Scream of Stone (Schrei aus Stein) (1991)', '08-Mar-1996', '', 'http://us.imdb.com/M/title-exact?Schrei%20aus%20Stein%20(1991)', '0', '0', '0', '0', '0', '0', '0', '0', '1', '0', '0', '0', '0', '0', '0', '0', '0', '0', '0\n']
‘’‘
item_file_path = '/Users/byron/.surprise_data/ml-100k/ml-100k/u.item'
id2name = {
   }
with open(item_file_path, 'r', encoding='ISO-8859-1') as f: # 这里注意解码方式
  for line in f:
    line = line.split('|')
    id2name[line[0]] = line[1]

2. 定义协同过滤方式并训练

# 定义协同过滤方式  user_based:False 时为基于item
sim_options = {
   'name': 'pearson_baseline', 'user_based': False}
algo = KNNBasic(sim_options=sim_options)
algo.fit(train)

3. 取出前k个邻居和对应的相似度

def get_k_nearest(inner_id, k_nearest):
  '''
  :return: 返回最近的k个邻居
  '''
  
  if algo.sim_options['user_based']: # 判断基于item还是user
    	all_instances = algo.trainset.all_users
  else:
      all_instances = algo.trainset.all_items
	# item或者user之间的相似度信息保存在algo的sim属性中  sim[i][j]表示个体和j之间的相似度
  others = [(x, algo.sim[inner_id][x]) for x in all_instances() if x != inner_id]
  # 根据相似度进行从高到低排列
  sorted_others = sorted(others, key=lambda x: x[1], reverse=True)
  # 取出前k个邻居
  return sorted_others[:k_nearest]

4. 进行推荐

def recommend(id, k_nearest, n_items, user_based=False):
    '''
    default adapt item-based CF
    :param id: original user id
    :param k_nearest:
    :param n_items: top_n recommended finally
    :param user_based: item-based or user-based
    :return: top_n items liked by user most likely
    '''
    # 基于用户的推荐
    if user_based:
        recommend_dict = {
   }
        inner_id = algo.trainset.to_inner_uid(ruid=id) # 将原始用户id转化为inner_id
        # 取得当前用户已经评分的电影item
        cur_user_like_and_rating = algo.tra