SparkConf
要在本地/集群上运行Spark应用程序,需要设置一些配置和参数,这是由SparkConf提供的。 它提供运行Spark应用程序的配置。 以下代码块包含PySpark的SparkConf类的详细信息。
class pyspark.SparkConf (
loadDefaults = True,
_jvm = None,
_jconf = None
)
最初,我们将使用SparkConf()创建一个SparkConf对象,它将从spark.* Java系统属性加载值。现在,您可以使用SparkConf对象设置不同的参数,它们的参数将优先于系统属性。
在SparkConf类中,有一些setter方法,它们支持链接。例如,您可以编写
conf.setAppName("PySpark App").setMaster("local")。一旦我们将SparkConf对象传递给Apache Spark,任何用户都无法修改它。
以下是SparkConf最常用的一些属性 -
set(key, value) - 设置配置属性。
setMaster(value) - 设置主URL。
setAppName(value) - 设置应用程序名称。
get(key, defaultValue=None) - 获取密钥的配置值。
setSparkHome(value) - 在工作节点上设置Spark安装路径。
让我们考虑以下在PySpark程序中使用Sp