Python开发Spark步骤以及如何提交Spark应用，PythonOnSpark原理

1.Python开发Spark程序步骤

主要是获取SparkContext对象，基于SparkContext对象作为执行环境入口

2.如何提交Spark应用

将程序代码上传到服务器上，通过spark-submit客户端工具进行提交

• 在代码中不要设置master，如果设置的话会以代码为准，spark-submit工具的设置就无效了
• 提交程序到集群中的时候，读取的文件一定是各个机器都能访问到的地址

3.Python On Spark执行原理

• 在Driver端，Python的Driver代码翻译成JVM代码（Py4j模块）变成JVM Driver运行；在Executor端，通过pyspark模块进行中转调度
• Driver端是JVM在运行，Executor端是Python在运行

Python On Spark Driver端由JVM执行，Executor端由JVM做命令转发，底层由Python解释器进行工作