报错:It appears that you are attempting to reference SparkContext from a broadcast variable, action

最新推荐文章于 2024-05-12 09:16:52 发布

qq_40285736

最新推荐文章于 2024-05-12 09:16:52 发布

阅读量4.2k

点赞数 4

文章标签： spark

本文链接：https://blog.csdn.net/qq_40285736/article/details/106949300

版权

本文介绍了遇到的Spark运行错误——尝试在广播变量、操作或转换中引用SparkContext。错误提示指出SparkContext只能在driver上使用，不能在worker上使用。文章分析了错误的原因，即在worker中使用了self.sc，并提供了修正代码的解决办法。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

报错

_pickle.PicklingError: Could not serialize object: Exception: It appears that you are attempting to reference SparkContext from a broadcast variable, action, or transformation.
 SparkContext can only be used on the driver, not in code that it run on workers. For more information, see SPARK-<