python 使用pyspark

什么是spark

定义：Apache Spark是用于大规模数据处理的统一分析引擎。
简单来说spark是一种分布式的计算框架，用于调度成百上千的服务器集群，计算TB，PB，乃至EB级别的海量数据。

spark作为全球顶级的分布式计算机框架，支持众多的编程语言开发，而python 语言，则是spark重点支持的方向。
spark对python语言的支持，重点体现在，python第三方库：PySpark之上。
PySpark是由Spark官方开发的python语言的第三方库。

pyspark库的安装

打开cmd输入命令行：
pip install pyspark

清华大学镜像网站下载：
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple pyspark

构建pyspark执行环境入口对象

想要使用pyspark库完成数据处理，首先需要构建一个