RDD编程(python版)总结

一、RDD创建方式包括:parallelize、textFile
1.parallelize：将一个已存在的集合生成RDD。

data=[1,2,3,4,5]
rdd=sc.parallelize(data)

2.textFile：通过读取外部文件生成RDD

rdd = sc.textFile("demo.txt")

二、将RDD显示的方法包括：foreach()、collect()

rdd.foreach(print)

rdd.collect()

三、RDD的操作：包括两类，转换操作和行动操作。
1.转换操作中的常用操作有:
filter()、map()、flatMap()、groupBy()、reduceByKey()。
（1）filter（func）:用于筛选。
例1：将data中含有hadoop的元素筛选出来：

data=["spark is good","hadoop is better","hadoop is fast"]
rdd=sc.parallelize(data)
rdd1=rdd.filter(lambda x:"hadoop" in x)
rdd1.foreach(print)

运行结果是：

hadoop is better
hadoop is fast
<