pyspark javagataway 问题 Java gateway process exited before sending the driver its port number args

最新推荐文章于 2024-06-19 17:33:11 发布

刁小蛮

最新推荐文章于 2024-06-19 17:33:11 发布

阅读量8.1k

点赞数

分类专栏： pyspark 文章标签： spark python javagateway

本文链接：https://blog.csdn.net/qq_25883231/article/details/80342394

版权

在尝试使用pyspark时遇到了'Java gateway process exited before sending the driver its port number'的错误。尝试修改环境变量SPARK_HOME、避免路径中的特殊字符以及在PyCharm配置中设置SPARK_HOME和PYTHONPATH的方法均未奏效。最终发现是SPARK_HOME配置不正确，正确设置为D:spark-2.3.0-bin-hadoop2.7，解决了问题。尽管如此，运行中仍然出现了关于winutils的错误，但不影响最终结果的输出。

摘要由CSDN通过智能技术生成

在读取文档等一类最基础的pyspark代码时出现了如下错误

Java gateway process exited before sending the driver its port number args = ('Java gateway process exited before sending the driver its port number',) message = 'Java gateway process exited before sending the driver its port number'

搜遍了百度有几种方法，修改路径，不让路径中出现特殊符号

在代码前加入