pyspark实现ALS矩阵分解算法

准备工作

本例使用MovieLens ml-100k数据集实现ALS矩阵分解算法，附上数据集下载链接.

---

推荐算法实例

打开jupyter notebook，新建一个Python3 notebook:

import os
import sys
# 动态加载pyspark目录
SPARK_HOME = os.environ.get('SPARK_HOME')
sys.path.insert(0,os.path.join(SPARK_HOME, 'python'))
sys.path.insert(0,os.path.join(SPARK_HOME, 'python/lib/py4j-0.10.7-src.zip'))
# exec(open(os.path.join(SPARK_HOME, 'python/pyspark/shell.py')).read())

# 创建实例
from pyspark import SparkContext
sc = SparkContext('local','ALS')

# 读取u.data
# 默认是从hdfs上读取文件，因此加上file:，表示本地路径
user_data = sc.textFile('file:/usr/local/test/u.data')
user_data.first()
'196\t242\t3\t881250949'

# 4项对应user_id、item_id 、rating和timestamp，以\t作为分隔符
# 时间戳用不上，截取前三项
rate = user_data.map(lambda x: x.split("\t")[0:3])
rate.first()
['196', '242', '3']

# 转换成Rating格式
from pyspark.mllib.recommendation import Rating
rate_data = rate.map(lambda x: Rating(int(x[