Spark机器学习：同现相似度矩阵

同现相似度可用于为协调过滤推荐中，查找相似的物品或者用户。下面对同相似度进行简单的定义

物品i和物品j的同相似度公式定义：

 

其中，分母是喜欢物品i的用户数，而分子则是同时喜欢物品i和物品j的用户数。因此，上述公式可用理解为喜欢物品i的用户有多少比例的用户也喜欢j  (和关联规则类似)

但上述的公式存在一个问题，如果物品j是热门物品，有很多人都喜欢，则会导致Wij很大，接近于1。因此会造成任何物品都和热门物品交有很大的相似度。为此我们用如下公式进行修正：

这个格式惩罚了物品j的权重，因此减轻了热门物品和很多物品相似的可能性。(也归一化了[i,j]和[j,i])

下面具体介绍如何在Spark如何求得矩阵Wij

如下是用来测试的数据，格式：(用户ID，商品ID，评分)

1 1 1
1 2 1
2 1 1
2 3 1
3 3 1
3 4 1
4 2 1
4 4 1
5 1 1
5 2 1
5 3 1
5 4 2
6 4 1

为了清楚了解每一步过程，下面的代码都在spark-shell中进行并给出关键步骤的输出结果

1.从本地文件中读取数据，并进行格式装换

 val rdd1 = sc.textFile("/tmp/recommend.dat").map(_.split("\\s")).map(x => (x(0), x(1), x(2).toDouble))

结果：