pyspark 程序头与程序提交集群命令

这里介绍使用SparkContext的pyspark注册头，通过SparkConf对SparkContext进行配置，SparkConf可以设置各种配置参数，如下面所示：

from pyspark.context import SparkContext
from pyspark.sql import SQLContext
from pyspark.context import SparkConf
from pyspark.sql import HiveContext
from pyspark.sql.functions import *
import pandas as pd

conf=SparkConf().setAppName("nettest_yp").setMaster("yarn").set("deploy-mode","client")
sc=SparkContext(conf=conf)
sqlContext = SQLContext(sc)

其次，对于写好的pyspark程序，可以使用spark-submit来提交到集群上，命令示例如下：

spark-submit --master yarn --deploy-mode client --num-executors 6 --driver-memory 1g --executor-memory 5g -- executor-cores 2 demo.py

这里提交的同时配置的参数有使用的节点数，驱动内存大小，执行内存大小，核数等。

如有任何问题可以加群R语言＆大数据分析456726635或者Python & Spark大数636866908与我联系。