Pyspark中RDD对象的使用

（作者：陈玓玏）
下文中用到的数据集下载地址：http://files.grouplens.org/datasets/movielens/ml-100k.zip， 下载到自己的机器上，然后使用时记得把下面的路径替换成你自己的路径。

写得不太好，后面会再完善。

获取

Spark中的rdd不能直接用索引来取数，都要用以下方法：
#读取文件内容
user_data = sc.textFile('root/spark_local/ml-100k/u.user')
#将文件映射成由列组成的对象
user_fields = user_data.map(lambda line: line.split('|')) #这里的分割方法不是一定的，要根据文件内容来，比如CSV就要用英文逗号来分割
num_users = user_fields.map(lambda fields: fields[0]).count()
要用map来取数。这里用的文件是hadoop格式的文件。

统计

Rdd对象的统计：
创建rdd对象：rating_data = sc.textFile('root/spark_local/ml-100k/u.data')
统计个数：num_ratings = rating_data.count()
通过collect方法获取某列的值为列表，好处是变为列表后就可以用numpy进行处理了，但不能使用stats()函数统计：
num_users = user_fields.map(lambda fields: fields[0]).collect()
获取某列的值为rdd对象，可以使用stats()函数统计：
num_users = user_fields.map(lambda fields: fields[0])
分割数据便于之后统计：
rating_data = rating_data.map(lambda line: line.split('\t'))
ratings = rating_data.map(lambda fields: int(fields[2]))
统计最大值：
max_rating = ratings.reduce(lambda x,y:max(x,y))
统计最小值：
min_rating = ratings.reduce(lambda x,y:min(x,y))
统计均值：
mean_rating = ratings.reduce(lambda x,y:x+y)/num_ratings
统计中位数：
median_rating = np.median(ratings.collect())
直接统计所有变量，类似DataFrame的describe：
ratings.stats()
输出：(count: 100000, mean: 3.52986, stdev: 1.12566797076, max: 5.0, min: 1.0)
标称型变量的分布统计：
user_data = sc.textFile('root/spark_local/ml-100k/u.user')
user_fields = user_data.map(lambda line: line.split('|'))
统计类别数：
num_genders = user_fields.map(lambda fields : fields[2]).distinct().count()
给出每条记录的第2列数据，不进行统计：
ages = user_fields.map(lambda x: int(x[1])).collect()
统计不同标称属性可取值对应的人数的方法：
count_by_occupation = user_fields.map(lambda fields: (fields[3],1)).reduceByKey(lambda x,y:x+y).collect()
另一种统计不同标称属性可取值对应的人数的方法：
count_by_occupation2 = user_fields.map(lambda fields: fields[3]).countByValue()
values = count_by_occupation2.values()
bins = count_by_occupation2.keys()
dict(count_by_occupation2)  #不能被直接输出，会报错，可以单独获取键或值，也可以转换成python字典


rdd过滤数据：
years_filtered = years.filter(lambda x: x!=1900)
根据一个字段统计另一个字段，比如：每个用户评分的次数：
user_ratings_grouped = rating_data.map(lambda fields:(int(fields[0]),int(fields[2]))).groupByKey() #还是rdd对象
user_rating_byuser = user_ratings_grouped.map(lambda (k,v):(k,len(v))) #还是rdd对象
user_rating_byuser.take(5)  #显示前5个

参考资料：
1、 https://blog.csdn.net/u013719780/article/details/51768720