pyspark 3.5.x 版本和 python 3.12版本配合有问题

最新推荐文章于 2025-05-17 17:07:22 发布
最新推荐文章于 2025-05-17 17:07:22 发布
阅读量292 收藏 4
点赞数 3
文章标签： python 开发语言 PySpark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/panghuangang/article/details/145743648
版权

我是在win10环境下。

python 3.12 版本 + pyspark 3.5.x 版本配合有问题

环境、问题现象

python版本：
在这里插入图片描述

pyspark版本：
在这里插入图片描述

下面的代码执行RDD的map计算：

from pyspark import SparkConf, SparkContext
import os

# 明确设置python解释器的路径
os.environ['PYSPARK_PYTHON'] = 'D:/python-virtual-env/common-practice/Scripts/python.exe'

conf = SparkConf().setMaster('local[*]').setAppName('my_test_spark')
sc = SparkContext(conf=conf)

# 准备一个RDD
rdd = sc.parallelize([1, 3, 5, 7, 9])

def func(data):
    return data * 2

# 通过map方法将所有数据都乘以100
"""
(T) -> U 这是一种泛型表示法，用于描述函数的输入和输出类型。
(T) -> U 的含义是：这个函数接受一个类型为 T 的参数，并返回一个类型为 U 的结果。
(T) -> U 是一个函数类型，表示一个接受 T 类型参数并返回 U 类型结果的函数。
具体来说：
T 表示输入元素的类型，就是RDD中元素的类型。
U 表示输出元素的类型，U 可以与 T 相同，也可以不同。
"""
rdd2 = rdd.map(func)

print(rdd2.collect())
# print(sc.version)

sc.stop()

运行报异常：

D:\python-virtual-env\common-practice\Scripts\python.exe D:\temp\python_work\python-learning\test.py 
25/02/20 07:56:32 WARN Shell: Did not find winutils.exe: java.io.FileNotFoundException: java.io.FileNotFoundException: HADOOP_HOME and hadoop.home.dir are unset. -see https://wiki.apache.org/hadoop/WindowsProblems
Setting default log level to "WARN".
To adjust logging level use sc.setLogLevel(newLevel). For SparkR, use setLogLevel(newLevel).
25/02/20 07:56:32 WARN NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
25/02/20 07:56:35 ERROR Executor: Exception in task 0.0 in stage 0.0 (TID 0)
org.apache.spark.SparkException: Python worker exited unexpectedly (crashed)
	at org.apache.spark.api.python.BasePythonRunner$ReaderIterator$$anonfun$1.applyOrElse(PythonRunner.scala:612)
	at org.apache.spark.api.python.BasePythonRunner$ReaderIterator$$anonfun$1.applyOrElse(PythonRunner.scala:594)
	at scala.runtime.AbstractPartialFunction.apply(AbstractPartialFunction.scala:38)
	at org.apache.spark.api.python.PythonRunner$$anon$3.read(PythonRunner.scala:789)
	at org.apache.spark.api.python.PythonRunner$$anon$3.read(PythonRunner.scala:766)
	at org.apache.spark.api.python.BasePythonRunner$ReaderIterator.hasNext(PythonRunner.scala:525)
	at org.apache.spark.InterruptibleIterator.hasNext(InterruptibleIterator.scala:37)
	at scala.collection.Iterator.foreach(Iterator.scala:943)
	at scala.collection.Iterator.foreach$(Iterator.scala:943)
	at org.apache.spark.InterruptibleIterator.foreach(InterruptibleIterator.scala:28)
	at scala.collection.generic.Growable.$plus$plus$eq(Growable.scala:62)
	at scala.collection.generic.Growable.$plus$plus$eq$(Growable.scala:53)
	at scala.collection.mutable.ArrayBuffer.$plus$plus$eq(ArrayBuffer.scala:105)
	at scala.collection.mutable.ArrayBuffer.$plus$plus$eq(ArrayBuffer.scala:49)
	at scala.collection.TraversableOnce.to(TraversableOnce.scala:366)
	at scala.collection.TraversableOnce.to$(TraversableOnce.scala:364)
	at org.apache.spark.InterruptibleIterator.to(InterruptibleIterator.scala:28)
	at scala.collection.TraversableOnce.toBuffer(TraversableOnce.scala:358)
	at scala.collection.TraversableOnce.toBuffer$(TraversableOnce.scala:358)
	at org.apache.spark.InterruptibleIterator.toBuffer(InterruptibleIterator.scala:28)
	at scala.collection.TraversableOnce.toArray(TraversableOnce.scala:345)
	at scala.collection.TraversableOnce.toArray$(TraversableOnce.scala:339)
	at org.apache.spark.InterruptibleIterator.toArray(InterruptibleIterator.scala:28)
	at org.apache.spark.rdd.RDD.$anonfun$collect$2(RDD.scala:1049)
	at org.apache.spark.SparkContext.$anonfun$runJob$5(SparkContext.scala:2433)
	at org.apache.spark.scheduler.ResultTask.runTask(ResultTask.scala:93)
	at org.apache.spark.TaskContext.runTaskWithListeners(TaskContext.scala:166)
	at org.apache.spark.scheduler.Task.run(Task.scala:141)
	at org.apache.spark.executor.Executor$TaskRunner.$anonfun$run$4(Executor.scala:620)
	at org.apache.spark.util.SparkErrorUtils.tryWithSafeFinally(SparkErrorUtils.scala:64)
	at org.apache.spark.util.SparkErrorUtils.tryWithSafeFinally$(SparkErrorUtils.scala:61)
	at org.apache.spark.util.Utils$.tryWithSafeFinally(Utils.scala:94)
	at org.apache.spark.executor.Executor$TaskRunner.run(Executor.scala:623)
	at java.base/java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1144)
	at java.base/java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:642)
	at java.base/java.lang.Thread.run(Thread.java:1623)
Caused by: java.io.EOFException
	at java.base/java.io.DataInputStream.readInt(DataInputStream.java:386)
	at org.apache.spark.api.python.PythonRunner$$anon$3.read(PythonRunner.scala:774)
	... 32 more
25/02/20 07:56:35 WARN TaskSetManager: Lost task 0.0 in stage 0.0 (TID 0) (DESKTOP-532H2ON executor driver): org.apache.spark.SparkException: Python worker exited unexpectedly (crashed)
	at org.apache.spark.api.python.BasePythonRunner$ReaderIterator$$anonfun$1.applyOrElse(PythonRunner.scala:612)
	at org.apache.spark.api.python.BasePythonRunner$ReaderIterator$$anonfun$1.applyOrElse(PythonRunner.scala:594)
	at scala.runtime.AbstractPartialFunction.apply(AbstractPartialFunction.scala:38)
	at org.apache.spark.api.python.PythonRunner$$anon$3.read(PythonRunner.scala:789)
	at org.apache.spark.api.python.PythonRunner$$anon$3.read(PythonRunner.scala:766)
	at org.apache.spark.api.python.BasePythonRunner$ReaderIterator.hasNext(PythonRunner.scala:525)
	at org.apache.spark.InterruptibleIterator.hasNext(InterruptibleIterator.scala:37)
	at scala.collection.Iterator.foreach(Iterator.scala:943)
	at scala.collection.Iterator.foreach$(Iterator.scala:943)
	at org.apache.spark.InterruptibleIterator.foreach(InterruptibleIterator.scala:28)
	at scala.collection.generic.Growable.$plus$plus$eq(Growable.scala:62)
	at scala.collection.generic.Growable.$plus$plus$eq$(Growable.scala:53)
	at scala.collection.mutable.ArrayBuffer.$plus$plus$eq(ArrayBuffer.scala:105)
	at scala.collection.mutable.ArrayBuffer.$plus$plus$eq(ArrayBuffer.scala:49)
	at scala.collection.TraversableOnce.to(TraversableOnce.scala:366)
	at scala.collection.TraversableOnce.to$(TraversableOnce.scala:364)
	at org.apache.spark.InterruptibleIterator.to(InterruptibleIterator.scala:28)
	at scala.collection.TraversableOnce.toBuffer(TraversableOnce.scala:358)
	at scala.collection.TraversableOnce.toBuffer$(TraversableOnce.scala:358)
	at org.apache.spark.InterruptibleIterator.toBuffer(InterruptibleIterator.scala:28)
	at scala.collection.TraversableOnce.toArray(TraversableOnce.scala:345)
	at scala.collection.TraversableOnce.toArray$(TraversableOnce.scala:339)
	at org.apache.spark.InterruptibleIterator.toArray(InterruptibleIterator.scala:28)
	at org.apache.spark.rdd.RDD.$anonfun$collect$2(RDD.scala:1049)
	at org.apache.spark.SparkContext.$anonfun$runJob$5(SparkContext.scala:2433)
	at org.apache.spark.scheduler.ResultTask.runTask(ResultTask.scala:93)
	at org.apache.spark.TaskContext.runTaskWithListeners(TaskContext.scala:166)
	at org.apache.spark.scheduler.Task.run(Task.scala:141)
	at org.apache.spark.executor.Executor$TaskRunner.$anonfun$run$4(Executor.scala:620)
	at org.apache.spark.util.SparkErrorUtils.tryWithSafeFinally(SparkErrorUtils.scala:64)
	at org.apache.spark.util.SparkErrorUtils.tryWithSafeFinally$(SparkErrorUtils.scala:61)
	at org.apache.spark.util.Utils$.tryWithSafeFinally(Utils.scala:94)
	at org.apache.spark.executor.Executor$TaskRunner.run(Executor.scala:623)
	at java.base/java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1144)
	at java.base/java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:642)
	at java.base/java.lang.Thread.run(Thread.java:1623)
Caused by: java.io.EOFException
	at java.base/java.io.DataInputStream.readInt(DataInputStream.java:386)
	at org.apache.spark.api.python.PythonRunner$$anon$3.read(PythonRunner.scala:774)
	... 32 more

25/02/20 07:56:35 ERROR TaskSetManager: Task 0 in stage 0.0 failed 1 times; aborting job
Traceback (most recent call last):
  File "D:\temp\python_work\python-learning\test.py", line 27, in <module>
    print(rdd2.collect())
          ^^^^^^^^^^^^^^
  File "D:\python-virtual-env\common-practice\Lib\site-packages\pyspark\rdd.py", line 1833, in collect
    sock_info = self.ctx._jvm.PythonRDD.collectAndServe(self._jrdd.rdd())
                ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
  File "D:\python-virtual-env\common-practice\Lib\site-packages\py4j\java_gateway.py", line 1322, in __call__
    return_value = get_return_value(
                   ^^^^^^^^^^^^^^^^^
  File "D:\python-virtual-env\common-practice\Lib\site-packages\py4j\protocol.py", line 326, in get_return_value
    raise Py4JJavaError(
py4j.protocol.Py4JJavaError: An error occurred while calling z:org.apache.spark.api.python.PythonRDD.collectAndServe.
: org.apache.spark.SparkException: Job aborted due to stage failure: Task 0 in stage 0.0 failed 1 times, most recent failure: Lost task 0.0 in stage 0.0 (TID 0) (DESKTOP-532H2ON executor driver): org.apache.spark.SparkException: Python worker exited unexpectedly (crashed)
	at org.apache.spark.api.python.BasePythonRunner$ReaderIterator$$anonfun$1.applyOrElse(PythonRunner.scala:612)
	at org.apache.spark.api.python.BasePythonRunner$ReaderIterator$$anonfun$1.applyOrElse(PythonRunner.scala:594)
	at scala.runtime.AbstractPartialFunction.apply(AbstractPartialFunction.scala:38)
	at org.apache.spark.api.python.PythonRunner$$anon$3.read(PythonRunner.scala:789)
	at org.apache.spark.api.python.PythonRunner$$anon$3.read(PythonRunner.scala:766)
	at org.apache.spark.api.python.BasePythonRunner$ReaderIterator.hasNext(PythonRunner.scala:525)
	at org.apache.spark.InterruptibleIterator.hasNext(InterruptibleIterator.scala:37)
	at scala.collection.Iterator.foreach(Iterator.scala:943)
	at scala.collection.Iterator.foreach$(Iterator.scala:943)
	at org.apache.spark.InterruptibleIterator.foreach(InterruptibleIterator.scala:28)
	at scala.collection.generic.Growable.$plus$plus$eq(Growable.scala:62)
	at scala.collection.generic.Growable.$plus$plus$eq$(Growable.scala:53)
	at scala.collection.mutable.ArrayBuffer.$plus$plus$eq(ArrayBuffer.scala:105)
	at scala.collection.mutable.ArrayBuffer.$plus$plus$eq(ArrayBuffer.scala:49)
	at scala.collection.TraversableOnce.to(TraversableOnce.scala:366)
	at scala.collection.TraversableOnce.to$(TraversableOnce.scala:364)
	at org.apache.spark.InterruptibleIterator.to(InterruptibleIterator.scala:28)
	at scala.collection.TraversableOnce.toBuffer(TraversableOnce.scala:358)
	at scala.collection.TraversableOnce.toBuffer$(TraversableOnce.scala:358)
	at org.apache.spark.InterruptibleIterator.toBuffer(InterruptibleIterator.scala:28)
	at scala.collection.TraversableOnce.toArray(TraversableOnce.scala:345)
	at scala.collection.TraversableOnce.toArray$(TraversableOnce.scala:339)
	at org.apache.spark.InterruptibleIterator.toArray(InterruptibleIterator.scala:28)
	at org.apache.spark.rdd.RDD.$anonfun$collect$2(RDD.scala:1049)
	at org.apache.spark.SparkContext.$anonfun$runJob$5(SparkContext.scala:2433)
	at org.apache.spark.scheduler.ResultTask.runTask(ResultTask.scala:93)
	at org.apache.spark.TaskContext.runTaskWithListeners(TaskContext.scala:166)
	at org.apache.spark.scheduler.Task.run(Task.scala:141)
	at org.apache.spark.executor.Executor$TaskRunner.$anonfun$run$4(Executor.scala:620)
	at org.apache.spark.util.SparkErrorUtils.tryWithSafeFinally(SparkErrorUtils.scala:64)
	at org.apache.spark.util.SparkErrorUtils.tryWithSafeFinally$(SparkErrorUtils.scala:61)
	at org.apache.spark.util.Utils$.tryWithSafeFinally(Utils.scala:94)
	at org.apache.spark.executor.Executor$TaskRunner.run(Executor.scala:623)
	at java.base/java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1144)
	at java.base/java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:642)
	at java.base/java.lang.Thread.run(Thread.java:1623)
Caused by: java.io.EOFException
	at java.base/java.io.DataInputStream.readInt(DataInputStream.java:386)
	at org.apache.spark.api.python.PythonRunner$$anon$3.read(PythonRunner.scala:774)
	... 32 more

Driver stacktrace:
	at org.apache.spark.scheduler.DAGScheduler.failJobAndIndependentStages(DAGScheduler.scala:2856)
	at org.apache.spark.scheduler.DAGScheduler.$anonfun$abortStage$2(DAGScheduler.scala:2792)
	at org.apache.spark.scheduler.DAGScheduler.$anonfun$abortStage$2$adapted(DAGScheduler.scala:2791)
	at scala.collection.mutable.ResizableArray.foreach(ResizableArray.scala:62)
	at scala.collection.mutable.ResizableArray.foreach$(ResizableArray.scala:55)
	at scala.collection.mutable.ArrayBuffer.foreach(ArrayBuffer.scala:49)
	at org.apache.spark.scheduler.DAGScheduler.abortStage(DAGScheduler.scala:2791)
	at org.apache.spark.scheduler.DAGScheduler.$anonfun$handleTaskSetFailed$1(DAGScheduler.scala:1247)
	at org.apache.spark.scheduler.DAGScheduler.$anonfun$handleTaskSetFailed$1$adapted(DAGScheduler.scala:1247)
	at scala.Option.foreach(Option.scala:407)
	at org.apache.spark.scheduler.DAGScheduler.handleTaskSetFailed(DAGScheduler.scala:1247)
	at org.apache.spark.scheduler.DAGSchedulerEventProcessLoop.doOnReceive(DAGScheduler.scala:3060)
	at org.apache.spark.scheduler.DAGSchedulerEventProcessLoop.onReceive(DAGScheduler.scala:2994)
	at org.apache.spark.scheduler.DAGSchedulerEventProcessLoop.onReceive(DAGScheduler.scala:2983)
	at org.apache.spark.util.EventLoop$$anon$1.run(EventLoop.scala:49)
	at org.apache.spark.scheduler.DAGScheduler.runJob(DAGScheduler.scala:989)
	at org.apache.spark.SparkContext.runJob(SparkContext.scala:2393)
	at org.apache.spark.SparkContext.runJob(SparkContext.scala:2414)
	at org.apache.spark.SparkContext.runJob(SparkContext.scala:2433)
	at org.apache.spark.SparkContext.runJob(SparkContext.scala:2458)
	at org.apache.spark.rdd.RDD.$anonfun$collect$1(RDD.scala:1049)
	at org.apache.spark.rdd.RDDOperationScope$.withScope(RDDOperationScope.scala:151)
	at org.apache.spark.rdd.RDDOperationScope$.withScope(RDDOperationScope.scala:112)
	at org.apache.spark.rdd.RDD.withScope(RDD.scala:410)
	at org.apache.spark.rdd.RDD.collect(RDD.scala:1048)
	at org.apache.spark.api.python.PythonRDD$.collectAndServe(PythonRDD.scala:195)
	at org.apache.spark.api.python.PythonRDD.collectAndServe(PythonRDD.scala)
	at java.base/jdk.internal.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
	at java.base/jdk.internal.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:75)
	at java.base/jdk.internal.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:52)
	at java.base/java.lang.reflect.Method.invoke(Method.java:578)
	at py4j.reflection.MethodInvoker.invoke(MethodInvoker.java:244)
	at py4j.reflection.ReflectionEngine.invoke(ReflectionEngine.java:374)
	at py4j.Gateway.invoke(Gateway.java:282)
	at py4j.commands.AbstractCommand.invokeMethod(AbstractCommand.java:132)
	at py4j.commands.CallCommand.execute(CallCommand.java:79)
	at py4j.ClientServerConnection.waitForCommands(ClientServerConnection.java:182)
	at py4j.ClientServerConnection.run(ClientServerConnection.java:106)
	at java.base/java.lang.Thread.run(Thread.java:1623)
Caused by: org.apache.spark.SparkException: Python worker exited unexpectedly (crashed)
	at org.apache.spark.api.python.BasePythonRunner$ReaderIterator$$anonfun$1.applyOrElse(PythonRunner.scala:612)
	at org.apache.spark.api.python.BasePythonRunner$ReaderIterator$$anonfun$1.applyOrElse(PythonRunner.scala:594)
	at scala.runtime.AbstractPartialFunction.apply(AbstractPartialFunction.scala:38)
	at org.apache.spark.api.python.PythonRunner$$anon$3.read(PythonRunner.scala:789)
	at org.apache.spark.api.python.PythonRunner$$anon$3.read(PythonRunner.scala:766)
	at org.apache.spark.api.python.BasePythonRunner$ReaderIterator.hasNext(PythonRunner.scala:525)
	at org.apache.spark.InterruptibleIterator.hasNext(InterruptibleIterator.scala:37)
	at scala.collection.Iterator.foreach(Iterator.scala:943)
	at scala.collection.Iterator.foreach$(Iterator.scala:943)
	at org.apache.spark.InterruptibleIterator.foreach(InterruptibleIterator.scala:28)
	at scala.collection.generic.Growable.$plus$plus$eq(Growable.scala:62)
	at scala.collection.generic.Growable.$plus$plus$eq$(Growable.scala:53)
	at scala.collection.mutable.ArrayBuffer.$plus$plus$eq(ArrayBuffer.scala:105)
	at scala.collection.mutable.ArrayBuffer.$plus$plus$eq(ArrayBuffer.scala:49)
	at scala.collection.TraversableOnce.to(TraversableOnce.scala:366)
	at scala.collection.TraversableOnce.to$(TraversableOnce.scala:364)
	at org.apache.spark.InterruptibleIterator.to(InterruptibleIterator.scala:28)
	at scala.collection.TraversableOnce.toBuffer(TraversableOnce.scala:358)
	at scala.collection.TraversableOnce.toBuffer$(TraversableOnce.scala:358)
	at org.apache.spark.InterruptibleIterator.toBuffer(InterruptibleIterator.scala:28)
	at scala.collection.TraversableOnce.toArray(TraversableOnce.scala:345)
	at scala.collection.TraversableOnce.toArray$(TraversableOnce.scala:339)
	at org.apache.spark.InterruptibleIterator.toArray(InterruptibleIterator.scala:28)
	at org.apache.spark.rdd.RDD.$anonfun$collect$2(RDD.scala:1049)
	at org.apache.spark.SparkContext.$anonfun$runJob$5(SparkContext.scala:2433)
	at org.apache.spark.scheduler.ResultTask.runTask(ResultTask.scala:93)
	at org.apache.spark.TaskContext.runTaskWithListeners(TaskContext.scala:166)
	at org.apache.spark.scheduler.Task.run(Task.scala:141)
	at org.apache.spark.executor.Executor$TaskRunner.$anonfun$run$4(Executor.scala:620)
	at org.apache.spark.util.SparkErrorUtils.tryWithSafeFinally(SparkErrorUtils.scala:64)
	at org.apache.spark.util.SparkErrorUtils.tryWithSafeFinally$(SparkErrorUtils.scala:61)
	at org.apache.spark.util.Utils$.tryWithSafeFinally(Utils.scala:94)
	at org.apache.spark.executor.Executor$TaskRunner.run(Executor.scala:623)
	at java.base/java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1144)
	at java.base/java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:642)
	... 1 more
Caused by: java.io.EOFException
	at java.base/java.io.DataInputStream.readInt(DataInputStream.java:386)
	at org.apache.spark.api.python.PythonRunner$$anon$3.read(PythonRunner.scala:774)
	... 32 more


进程已结束，退出代码为 1

尝试其它pyspark版本

我又尝试了pyspark的3.5.1、3.5.2、3.5.3版本，还是报异常。

python 3.10 版本 + pyspark 3.5.x 版本配合可以

python版本：
在这里插入图片描述

pyspark版本：
在这里插入图片描述

python代码：

from pyspark import SparkConf, SparkContext
import os

# 明确设置python解释器的路径
os.environ['PYSPARK_PYTHON'] = 'D:/python-virtual-env/common-practice-use-python310/Scripts/python.exe'

conf = SparkConf().setMaster('local[*]').setAppName('my_test_spark')
sc = SparkContext(conf=conf)

# 准备一个RDD
rdd = sc.parallelize([1, 3, 5, 7, 9])

def func(data):
    return data * 2

# 通过map方法将所有数据都乘以100
"""
(T) -> U 这是一种泛型表示法，用于描述函数的输入和输出类型。
(T) -> U 的含义是：这个函数接受一个类型为 T 的参数，并返回一个类型为 U 的结果。
(T) -> U 是一个函数类型，表示一个接受 T 类型参数并返回 U 类型结果的函数。
具体来说：
T 表示输入元素的类型，就是RDD中元素的类型。
U 表示输出元素的类型，U 可以与 T 相同，也可以不同。
"""
rdd2 = rdd.map(func)

print(rdd2.collect())
# print(sc.version)

sc.stop()

运行输出，可以正常得到结果：

D:\python-virtual-env\common-practice-use-python310\Scripts\python.exe D:\temp\python_work\python-learning\test.py 
25/02/20 08:06:43 WARN Shell: Did not find winutils.exe: java.io.FileNotFoundException: java.io.FileNotFoundException: HADOOP_HOME and hadoop.home.dir are unset. -see https://wiki.apache.org/hadoop/WindowsProblems
Setting default log level to "WARN".
To adjust logging level use sc.setLogLevel(newLevel). For SparkR, use setLogLevel(newLevel).
25/02/20 08:06:43 WARN NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
[2, 6, 10, 14, 18]

在这里插入图片描述

Spark RDD | 常用函数讲解与代码实践
weixin_43646592的博客
06-23 341
Spark RDD | 常用函数讲解与代码实践
Spark 异常: Python worker 连接失败
2301_79326559的博客
09-18 2251
在使用 PySpark 进行编程时，可能会遇到 “org.apache.spark.SparkException: Python worker failed to connect back” 的错误。本文介绍了一些可能导致此错误的原因，并提供了相应的解决方法，包括确认网络连接和主机名设置、检查防火墙设置、检查 Python 环境和依赖项、检查内存和资源配额、检查日志和错误信息以及重启集群和驱动程序。
spark3.5.4兼容python 3.10.x以下版本
血雾冥王
01-27 526
python spark 兼容性
Python使用pySpark时数据报错
qq_45884215的博客
03-19 485
spark找不到python在哪里，所以需要添加python的绝对路径地址，以下代码即可。
pyspark使用指定版本的python
一个今天胜过两个明天
07-12 4717
系统中同时装了python2 和python3，如何让spark使用指定的python? 只要在系统中设定一个环境变量PYSPARK_PYTHON 把该环境变量指向对应的python即可。 比如我在windows中添加一个系统环境变量PYSPARK_PYTHON 然后把值指向d:\python3 ...
【spark】win10 pyspark3.5.1 安装超级简单
qq_41604569的博客
05-08 738
原因是因为hadoop问题，可以参考：https://blog.csdn.net/shulianghan/article/details/132042385。下载地址：https://spark.apache.org/downloads.html。复制文件到自己的路径下，路径最好不要有中文、空格；Path添加：%SPARK_HOME%\bin。(根据自己安装的位置)
20240803 大数据批处理- SPARK3.5-Pyspark环境安装配置及正确启动
weixin_46449024的博客
08-03 448
3. 遇到【错误记录】Python 中使用 PySpark 数据计算报错 ( SparkException: Python worker failed to connect back. )运行3.12后, dataframe创建失败, python与java直接的序列化反序列化错误.1. 打开任务就basic.py, IDEA 会提示安装pythonSDK。打开project配置，模块下创建Python 3.10执行环境。2. 工作目录设置为project根目录，否则找不到resources下的数据文件.
《PySpark实用教程_v3.1.2》简介
02-28 1973
《PySpark实用教程》（基于Spark3.1.2和Python 3.7）预览版下载：这里下载 大数据分析一直是个热门话题，需要大数据分析的场景也越来越多。Apache Spark是一个用于快速、通用、大规模数据处理的开源项目。现在，Apache Spark已经成为一个统一的大数据处理平台，拥有一个快速的统一分析引擎，可用于大数据的批处理、实时流处理、机器学习和图计算。 2009年，Spark诞生于伯克利大学AMP实验室，最初属于伯克利大学的研究性项目。它于2010年被正式开源，于2013年被转交给A
spark python3_Python+spark配置，多版本Python兼容问题
weixin_39787826的博客
11-24 1567
1、安装spark此处安装spark2.3.0版本2、安装Python根据已经安装的spark版本选择需要的Python版本，比如我的电脑安装的是spark2.3.0，选择的对应的Python版本就不能超过3.5，我个人喜欢安装anaconda集成的Python，对应的anaconda版本为3.4.21）bash bash Anaconda3-4.2.0-Linux-x86_64.sh2）修改环境...
python打开各种文件格式_使用python读取数据科学最常用的文件格式(转)
weixin_36229423的博客
01-11 2175
Author：kevinelstriDateTime：2017/3/131、什么是文件格式？文件格式是在文件中存储信息的一种标准方法。首先，文件格式指定文件是一个二进制或ASCII文件。其次，文件展示了文件的组织形式。例如，逗号分隔值(CSV)文件格式存储在纯文本的表格数据。image.png2、为什么数据科学家需要懂得不同的文件格式？通常，你遇到的文件都取决于你使用的应用。例如，在一个图像处理系...
Apache Iceberg Python库常见问题解决方案
gitblog_00333的博客
11-05 331
Apache Iceberg Python库常见问题解决方案 iceberg-python Iceberg Python 是一个将 Apache Iceberg 集成到 Python 的开源项目，用于实现分布式数据湖。它适用于需要处理大量结构化数据的场景，如数据仓库、大数据分析和数据科学等。Iceberg Python...
win10下Anaconda3在虚拟环境python_version=3.5.3 中配置pyspark
天之涯~海之角
07-25 5553
win10下Anaconda3在虚拟环境python_version=3.5.3 中配置pyspark1. 序 经过了一天的修炼，深深被恶心了，在虚拟环境中配置pyspark花式报错，由于本人实在是不想卸载3.6版的python,所以硬刚了一天，终于摸清了配置方法，并且配置成功,不抱怨了，开讲
pyspark系列--读写dataframe
热门推荐
振裕
03-23 2万+
目录 1. 连接spark 2. 创建dataframe 2.1. 从变量创建 2.2. 从变量创建 2.3. 读取json 2.4. 读取csv 2.5. 读取MySQL 2.6. 从pandas.dataframe创建 2.7. 从列式存储的parquet读取 2.8. 从hive读取 3. 保存数据 3.1. 写到csv 3.2. 保存到parquet 3.3. 写到hive 3...
Python爬虫实战：研究进制流数据，实现逆向解密
ylfhpy的博客
05-14 567
许多网站和应用通过二进制流数据传输敏感信息，如视频、金融交易数据等。逆向工程进制流数据不仅有助于合法的数据获取与分析，还能帮助企业发现自身安全漏洞，提升数据保护能力。本研究主要针对特定类型的视频加密系统，对于采用更复杂加密机制（如硬件加密、动态密钥交换）的系统，可能需要进一步优化方法。以二进制形式传输的数据序列，通常包含文件、图像、音频或加密信息。如 ECB、CBC、CFB 等，定义加密算法如何处理数据块。拦截并修改通信双方数据的攻击方式，本研究用于合法数据捕获。
如何利用 Python 获取京东商品 SKU 信息接口详细说明
最新发布
J15779585792的博客
05-17 578
通过上述步骤和代码示例，你可以轻松地使用 Python 调用京东商品 SKU 信息接口，获取商品的详细信息。希望这个指南对你有所帮助！如果你对电商数据开发有更多兴趣，可以尝试探索更复杂的功能，如多线程爬取、数据可视化等。如遇任何疑问或有进一步的需求，请随时与我私信或者评论联系。
Python 基础语法与数据类型(八) - 函数参数：位置参数、关键字参数、默认参数、可变参数 (*args, **kwargs)
晨的技术博客
05-13 746
本篇博客详细介绍了 Python 函数参数的四种主要类型：位置参数、关键字参数、默认参数和可变参数 (*args, **kwargs)。位置参数要求实参按顺序传递，关键字参数则通过参数名指定值，提高了代码的可读性。默认参数允许为参数提供默认值，但需注意避免使用可变对象作为默认值。可变参数 *args 和 **kwargs 分别用于接收任意数量的位置参数和关键字参数，增强了函数的灵活性。通过合理使用这些参数类型，可以编写出更通用和易维护的函数。
YOLOv7训练时4个类别只出2个类别
qq_48873240的博客
05-16 552
在使用YOLOv7进行训练和预测时，发现模型仅能预测出两个类别（LFM和SFM），而实际应有四个类别。经过检查，特征图大小和anchors设置均与YOLOv3一致，且YOLOv3表现正常。最终发现问题可能出在detect.py中的conf-thres参数设置过高，将其从0.5调整为0.1后，问题得到解决。此外，还需注意在NMS操作时不使用classes参数，并在train.py中根据实际类别数和图片大小调整hyp['cls']和hyp['obj']的缩放比例。这些调整有助于确保模型能够正确预测所有类别。
【AI】“CUDA” 到底是什么？（AI 计算民主化，第二部分）
u011808788的博客
05-14 1016
似乎每个人都在去年开始谈论CUDA ：它是深度学习的支柱，是新型硬件难以竞争的原因，也是NVIDIA 护城河和飙升市值的核心。DeepSeek的出现，让我们获得了一个惊人的发现：它的突破是通过“绕过” CUDA，直接进入 PTX 层实现的……但这究竟意味着什么？似乎每个人都想打破这种锁定，但在制定计划之前，我们必须了解我们面临的是什么。本文是 Modular “ AI 计算民主化”系列文章的第二部分。更多信息，请参阅：第一部分：DeepSeek 对 AI 的影响第二部分：“CUDA”到底是什么？
pyspark对应jdk版本
11-29
根据引用[1]中提到的，有些集群还是使用jdk1.7的环境，但是我们需要jdk1.8，因此需要下载对应的jdk的包，比如jdk-8u172-linux-x64.tar.gz，上传至集群目录。因此，pyspark对应的jdk版本取决于集群中使用的jdk版本，如果集群中使用的是jdk1.7，则pyspark对应的jdk版本也是jdk1.7，如果集群中使用的是jdk1.8，则pyspark对应的jdk版本也是jdk1.8。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值