pyspark报错

最新推荐文章于 2024-02-04 12:23:30 发布

我爱夜来香A

最新推荐文章于 2024-02-04 12:23:30 发布

阅读量895

点赞数 1

分类专栏： Python 文章标签： python spark

本文链接：https://blog.csdn.net/nzbing/article/details/132706837

版权

Python 专栏收录该内容

17 篇文章 6 订阅

订阅专栏

文章讲述了在使用PySpark时遇到的两个问题：一是MasterURL解析错误，原因是SparkConf对象传递方式不当；二是SparkSession构造器报错，通常由于本地Spark和pyspark版本不匹配。解决方法包括修正SparkConf对象的传递和检查并调整pyspark版本一致性。

摘要由CSDN通过智能技术生成

Error

- 一、org.apache.spark.SparkException: Could not parse Master URL: '<pyspark.conf.SparkConf object at 0x00000207C46963A0>'
- 二、Constructor org.apache.spark.sql.SparkSession([class org.apache.spark.SparkContext, class java.util.HashMap]) does not exist

一、org.apache.spark.SparkException: Could not parse Master URL: ‘<pyspark.conf.SparkConf object at 0x00000207C46963A0>’

报错代码:

from pyspark import SparkConf, SparkContext

conf = SparkConf().setAppName("test").setMaster("local[*]")
#构建sparkContext对象
sc = SparkContext(conf)
rdd = sc.parallelize([1,2,3,4,5,6,7,8,9])
print("默认分期数:",rdd.getNumPartitions())

修改后代码:

from pyspark import SparkConf, SparkContext

conf = SparkConf().setAppName("test").setMaster("local[*]")
#构建sparkContext对象
sc = SparkContext(conf=conf)
rdd = sc.parallelize([1,2,3,4,5,6,7,8,9])
print("默认分期数:",rdd.getNumPartitions())