初战推荐系统

这个暑期里，我的主要工作是学习推荐系统的算法和建立相应模型。今天这篇文章我将会介绍其中比较基础的模型：协同过滤。协同过滤分为三种：基于用户，基于物品，基于模型。我主要使用的是前两种。他们的原理都很相似，就是计算用户或物品之间的相似性，（相似度越高，越可能被推荐）以此来产生推荐列表。在计算相似性的过程中，选择不同的相似性算法能够产生不同的推荐结果。这里我采用的是共同邻居和CN指标的另一个计算方法余弦相似性，公式如下：


因为网站上已经有大量且重复的关于协同过滤的详细介绍，就不在此赘述。该篇文章只是我作为训练和交流的一个展示。
数据来源MovieLens

下面是我建模的思路：
1. 根据时间戳这个变量对原始数据进行训练集和测试集的划分，以90%为分界点，取其前90%（早发生）的数据为训练集，剩余10%（晚发生）的数据为测试集。
2. 根据数据集建立用户-电影的矩阵。
3. 分别为用户和物品建立基于共同邻居和余弦相似性的相似性矩阵
4. 根据相似性矩阵依次生成推荐列表

---

基于用户的协同过滤

找出目标用户没有看过的电影，并依照用户相似性矩阵找出该用户与所有用户的相似性之和（A）；再创建一个列表来存储目标用户没有看过，但其他用户看过的电影；根据这个列表和用户间的相似性矩阵，计算出看过目标用户未看过电影的用户相似性之和（B），最后B/A得到目标用户没看过电影的推荐分数列表(按降序排列)。

这里我只展示了基于用户并使用共同邻居指标的推荐列表生成代码

def recommenduserCN(ID):
    unwatched = np.where(ums_matrix[np.where(train_user_array==ID)[0][0]]==0)# 得到ID用户没看过的电影ID    scores=[]
    sim=0
    sim_sum=sum(user2user[np.where(train_user_array==ID)[0][0]])
    for i in range(0,len(unwatched[0])):
        others_watched=np.where(ums_matrix[:,unwatched[0][i]]==1) # 得到ID用户没看过，但其他人看过的用户ID
        for w in others_watched[0]:
            sim += user2user[np.where(train_user_array==ID)[0][0]][w] # 得到与每位看过ID用户没看过的电影的用户相似性总和
            if w == others_watched[0][-1]:
                scores.append([train_movie_array[unwatched[0][i]],sim/sim_sum]) # 除以该用户和所有其他用户的相似性总和，得到每一部电影的相似性
                sim = 0
    sort_unwatched=sorted(scores, key=itemgetter(1),reverse=True)# 以分数为标准，从大到小排列
    return sort_unwatched

---

基于电影的协同过滤：

大致思维与基于用户的协同过滤类似：先找出目标用户未看过的电影，和目标用户看过的电影；根据电影间的相似性矩阵，计算出未看过与看过的电影的相似性之和，再用它除以未看过电影与所有电影相似性之和，这样就得到了每部未看过电影的推荐分数列表。

这里我只展示了基于电影并使用共同邻居指标的推荐列表生成代码

def recommenditemCN(ID):
    unwatched = np.where(ums_matrix[np.where(train_user_array==ID)[0][0]]==0) # 得到ID用户没看过的电影ID
    other_movie_watched=np.where(ums_matrix.T[:,np.where(train_user_array==ID)[0][0]]==1)#将矩阵颠倒顺序，找出ID用户看过的电影ID
    scores=[]
    sim=0
    for i in range(0,len(unwatched[0])): 
        for w in range(0,len(other_movie_watched)): # 计算未看过的电影与看过电影的相似性之和
            sim += movie2movie[unwatched[0][i]][other_movie_watched[0][w]]
            if w+1 == len(other_movie_watched):
                scores.append([train_movie_array[unwatched[0][i]],[sim/sum(movie2movie[unwatched[0][i]])]]) # 计算出该部未看过电影的推荐指数
                sim = 0
    sort_unwatched=sorted(scores, key=itemgetter(1),reverse=True)
    return sort_unwatched

小结

协同过滤算法是推荐系统里最基础且较原始的一种算法。其中，基于物品的CF又优于基于用户的CF,原因在于前者能够有效解决冷启动的问题（Cold-start），同时前者的推荐列表也更会符合用户的个性，能带来更好的用户体验。

本人为初学者，在代码和理论方面都会有不足，欢迎交流讨论，多多指教。