python新闻推荐系统_python实现推荐系统(一)

协同过滤分为 memory-based 和 model based

1. memory-based 利用用户物品之间相似度进行推荐

一种是 item-item 即喜欢这个物品的用户还喜欢..

一种是 user-item 即与你有相似爱好的用户还喜欢..

现在有个评分矩阵R，行表示用户，列表示物品，R(i,j)表示用户i对物品j的评分，R(:,j)表示所有用户对物品j的评分列，R(i,:)表示用户i对所有物品的评分行，用户与物品没有交互，评分自然为0，可以知道一般的矩阵R是稀疏的。

由user-item 计算每个用户的相似度，一般取（余弦相似度），即 cos(R(i,:),R(k,:)), 利用在sklearn中的模块很容易计算得到用户相似矩阵

from sklearn.metrics.pairwise importpairwise_distances

user_similarity= pairwise_distances(R, metric='cosine')

由item-item 计算每件商品相似度，

item_similarity = pairwise_distances(R.T, metric='cosine')

得到相似度就可以计算预测矩阵P, 即将用户与商品之间没有交互的R(i,j)赋上一个预测值

先考虑 item-item 我们可以知道如果物品m与某个物品b相似度较高，那么 与b有交互的用户k对b的评分会很接近于m，最简单的是m=b，那么评分相等，可以给出公式来预估k对m的评分，其中分母起到正则化的作用

用户k对物品m的评分预测：分子表示 物品m与其他所有物品b相似度 与 用户对其他物品b 的乘积 的和，相当于加权平均

考虑user-item 如果两个用户相似，自然他们对某个物品评分应该接近，但如果总有些用户a喜欢给物品评很高的分，这时候即使两个用户不相似，按照item-item 的公式，他们也能占到很高的权重，这就相当于一种干扰，一种噪声， 这样，对每个用户评分做一个平均，标准化

用户k对物品m的评分预测: 用户k对所有物品评分平均+ (用户k与其他所有用户a相似度 与 (其他用户a对m的评分-其他用户a对所有物品的平均评分)的加权和)/分母

这样我们就可以编写预测函数

def predict(R, similarity, type='item'):if type == 'user':

mean_user_rating= R.mean(axis=1)# axis=1 计算每行

rating_d = (R -mean_user_rating[:, np.newaxis]) #np.newaxis根据 R 调整矩阵

prediction= mean_user_rating[:, np.newaxis] + similarity.dot(rating_d) / np.array([np.abs(similarity).sum(axis=1)]).Telif type == 'item':

prediction= ratings.dot(similarity) / np.array([np.abs(similarity).sum(axis=1)])return prediction

通常我们还要对预测结果进行评价，有多种评价函数，一般可以用RMSE(根平均平方误差）

自然我们要拿R的非0值进行比较，计算预测前后的误差

from sklearn.metrics importmean_squared_errordefrmse(prediction, test_R):

prediction=prediction[test_R.nonzero()].flatten()

test_R=test_R[test_R.nonzero()].flatten()return sqrt(mean_squared_error(prediction, test_R))

2 model-based 采用矩阵因子分解来近似填充原矩阵

一般来说矩阵R是稀疏的，考虑矩阵计算中的奇异值分解(SVD)，通过将其分解成三个矩阵，其中S对角元素称为奇异值，通过过滤前k大的奇异值，可以近似保存原先矩阵的信息，正如一个图像矩阵，选取合适的k，重新计算得到的新图像可以在感官上与原图像无差异。

具体公式如

X 是m×n , U 是m×k , S 是 k×k , V.T 是k×n

这样通过计算就可以得到预测矩阵X

importscipy.sparse as spfrom scipy.sparse.linalg importsvds

U, s, VT = svds(train_R, k = 15) #选择k=15

S=np.diag(s)

X=np.dot(np.dot(U, S), VT)

本文主要介绍了memory-based 和 model-based的协同过滤方法