py4j.protocol.Py4JError: org.apache.spark.api.python.PythonUtils... does not exist in the JVM

最新推荐文章于 2024-04-14 00:48:42 发布

Tina_1024

最新推荐文章于 2024-04-14 00:48:42 发布

阅读量1.2w

点赞数 3

分类专栏： linux Centos7 spark python

本文链接：https://blog.csdn.net/sinat_36023271/article/details/85764934

版权

在Win7环境下，使用anaconda3.6.1、spark2.3.2和java1.8，遇到Py4JError: org.apache.spark.api.python.PythonUtils... does not exist in the JVM的问题。解决方法是在代码中添加特定设置。执行后，虽然有WARN级别日志，但代码返回了预期结果。

摘要由CSDN通过智能技术生成

安装环境：

Win7 +anaconda4.3.21(python3.6.1)+spark2.3.2+java1.8

执行程序：

from pyspark import SparkContext
from pyspark import SparkConf
conf = SparkConf().setAppName("miniProject").setMaster("local[*]")
sc=SparkContext.getOrCreate(conf)
rdd=sc.parallelize([1,2,3,4,5])
rdd1=rdd.map(lambda r:r+10)
print(rdd1.collect())

出现如下错误信息：

To adjust logging level use sc.setLogLevel(newLevel). For SparkR, use setLogLevel(newLevel).
Traceback (most recent call last):
File "C:/Users/Administrator/PycharmProjects/untitled/Learn/fibonaqie.py", line 6, in <module>
sc=SparkContext.getOrCreate(conf)
File "C:\ProgramData\Anaconda3\lib\site-packages\pyspark\context.py", line 349, in getOrCreate
SparkContext(conf=conf or SparkConf())
File "C:\ProgramData\Anaconda3\lib\site-packages\pyspark\context.py", line 118, in _