pyspark -- RDD

rdd:弹性分布数据集

 

创建

1.sc.parallelize(...)

2.引用文件 sc.textFile(...)

 

转换

.map(...)

.filter(...)

.flatMap(...)

.distinct(...) 去重

.sample(...) 随机样本

.leftOuterJoin(...)

.repartition(...) 分区

.take()

.collect(...) 将rdd的元素返回给驱动程序

.reduce(...)

.reduceByKey(...)

.count(...)

.saveAsTextFile(...)

.foreach(...)