PySpark的运行出错:Py4JJavaError【python为3.9==>pyspark版本为3.0】

详细错误信息:

Py4JJavaError                             Traceback (most recent call last)
~\AppData\Local\Temp/ipykernel_8396/2169931463.py in <module>
----> 1 user_categorical_encoder.fit(feat_df)

~\AppData\Local\Temp/ipykernel_8396/3161698003.py in fit(self, df)
     11 
     12         genre_string_indexer = StringIndexer(inputCol='genre_item', outputCol='genre_index')
---> 13         indexer_model = genre_string_indexer.fit(exploded_df)
     14 
     15         # get mapping from string indexer

c:\Program_Files_AI\Anaconda3531\envs\anime\lib\site-packages\pyspark\ml\base.py in fit(self, dataset, params)
    159                 return self.copy(params)._fit(dataset)
    160             else:
--> 161                 return self._fit(dataset)
    162         else:
    163             raise ValueError("Params must be either a param map or a list/tuple of param maps, "

c:\Program_Files_AI\Anaconda3531\envs\anime\lib\site-packages\pyspark\ml\wrapper.py in _fit(self, dataset)
    333 
    334     def _fit(self, dataset):
--> 335         java_model = self._fit_java(dataset)
    336         model = self._create_model(java_model)
    337         return self._copyValues(model)
...
	at java.base/java.net.ServerSocket.implAccept(ServerSocket.java:551)
	at java.base/java.net.ServerSocket.accept(ServerSocket.java:519)
	at org.apache.spark.api.python.PythonWorkerFactory.createSimpleWorker(PythonWorkerFactory.scala:174)
	... 41 more

对策
Python的安装目录里面复制python.exe,并改名为python3.exe
在这里插入图片描述

二、原因02

原因:Java版本问题,现在使用的版本过高,切换到1.8问题解决。
ps:

  • python为3.7,pyspark版本为2.3.1
  • python为3.9,pyspark版本为3.0



参考资料:
IDEA2020中测试PySpark的运行出错
pysaprk报错:Py4JJavaError

  • 1
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值