spark2-submit 提交 python(pyspark)项目

两种方式

• local
• yarn

假设一个pyspark的项目下边有两个文件：main.py和utils.py。其中main.py是项目的主入口文件，utils.py中可能包含一些UDF。

1. local
   （1）目录结构
   
   （2）提交命令

spark2-submit --master local --deploy-mode client main.py

2. yarn
   （1）目录结构
   
   其中project.zip是main.py和utils.py两个文件的zip压缩文件。
   （2）提交命令

spark2-submit --master yarn --deploy-mode client --py-files project.zip main.py