求助！！！PySpark运行报错

最新推荐文章于 2024-08-22 22:31:49 发布

gqy_11

最新推荐文章于 2024-08-22 22:31:49 发布

阅读量323

点赞数

文章标签： python spark

本文链接：https://blog.csdn.net/gqy_11/article/details/133436206

版权

本文介绍了在使用PySpark时遇到的错误，当Javagateway进程在发送端口号之前意外退出，导致`RuntimeError`。展示了如何创建SparkConf和SparkContext对象，以及如何检查和停止PySpark的运行。

摘要由CSDN通过智能技术生成

错误：raise RuntimeError("Java gateway process exited before sending its port number")
RuntimeError: Java gateway process exited before sending its port number

如图：

代码：

# 导包
from pyspark import SparkConf,SparkContext

# 创建SparkConf类对象
conf = SparkConf().setMaster("local[*]").setAppName("test_spark_app")

# 基于Spark类对象创建SparkContext对象
sc = SparkContext()

# 打印PySpark的运行版本
print(sc.version)

# 停止SparkContext对象的运行（停止PySark程序）
sc.stop()