PySpark实践

---

大数据入门与实战-PySpark的使用教程：https://www.jianshu.com/p/5a42fe0eed4d

---

PySpark – SparkContext

class pyspark.SparkContext (
   master = None,
   appName = None, 
   sparkHome = None, 
   pyFiles = None, 
   environment = None, 
   batchSize = 0, 
   serializer = PickleSerializer(), 
   conf = None, 
   gateway = None, 
   jsc = None, 
   profiler_cls = <class 'pyspark.profiler.BasicProfiler'>
)

PySpark – RDD

 有两种方法:

转换 - 这些操作应用于RDD以创建新的RDD。Filter，groupBy和map是转换的示例

操作 - 这些是应用于RDD的操作，它指示Spark执行计算并将结果发送回驱动程序 

count() // 返回RDD中的元素个数
collect() // 返回RDD中的所有元素
foreach(func) // 仅返回满足foreach内函数条件的元素
filter(f) // 返回一个包含元素的新RDD，它满足过滤器内部的功能
map(f, preservesPartitioning = False) // 通过将该函数应用于RDD中的每个元素来返回新的RDD
reduce(f) // 执行指定的可交换和关联二元操作后，将返回RDD中的元素
join(other, numPartitions = None) // 它返回RDD，其中包含一对带有匹配键的元素以及该特定键的所有值