JupyterNotebook运行Pyspark出现异常：&#180PipelinedRDD&#180 object has no attribute &#180toDF&#180

最新推荐文章于 2023-11-22 08:51:52 发布
最新推荐文章于 2023-11-22 08:51:52 发布
阅读量590 收藏
点赞数
文章标签： spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/a921026768/article/details/106376282
版权

问题描述

我在使用jupyter notebook连接pyspark进行pyspark操作，在使用’toDF‘函数将rdd转换为DataFrame出现‘PipelinedRDD' object has no attribute 'toDF'的异常。但是奇怪的一点是，我用pyspark启动spark shell直接进行操作时，’toDF‘函数是可以正常使用的。

  • jupyter notebook运行异常截图

  • spark shell交互界面运行截图

 

问题解决

    1. 问题原因

    toDF方法是在SparkSession（SQLContext1.x中的构造函数）构造函数内部执行的猴子补丁，因此要使用它，必须首先创建一个               SQLContext

最低0.47元/天 解锁文章
@咖啡猫$@
关注
AttributeError: ‘FieldInfo‘ object has no attribute ‘required‘. Did you mean: ‘is_required‘?解决方案
weixin_43178406的博客
04-11 7万+
本文主要介绍了AttributeError: ‘FieldInfo’ object has no attribute ‘required’. Did you mean: ‘is_required’?解决方案，希望能对使用deepspeed的同学们有所帮助。 文章目录 1. 问题描述 2. 解决方案
AttributeError: ‘LTP‘ object has no attribute ‘seg‘解决方案
热门推荐
weixin_43178406的博客
04-19 8万+
本文主要介绍了AttributeError: ‘LTP’ object has no attribute 'seg’解决方案，希望能对使用LTP的同学门有所帮助。 文章目录 1. 问题描述 2. 解决方案
centos7 在jupyter-notebook 使用pyspark
weixin_37353303的博客
10-24 817
发布文章 昨天好不容易可以在centos上使用jupyter-notebook，但是在代码块写入import pyspark时却提示无模块， 今天看到一篇博客，原来是没有配置/etc/profile中PYTHONPATH 使用jupyter-notebook --allow-root: http://blog.51cto.com/175779/204572...
AttributeError: ‘PipelinedRDD‘ object has no attribute ‘toDF‘
DayOneMore的博客
02-26 1592
问题描述： spark 运行遇到如下问题 AttributeError: 'PipelinedRDD' object has no attribute 'toDF' 解决方案： 参考了如下 https://stackoverflow.com/questions/32788387/pipelinedrdd-object-has-no-attribute-todf-in-pyspark 加入如下代码 from pyspark.sql import SparkSession spark = SparkSessi
【编程语言】PySpark 异常 AttributeError: 'PipelinedRDD' object has no attribute 'toDF'
莫小苝Blog
10-13 1万+
这几天在使用Python练习Spark官网上SparkMLlib编程指南中的IndexedRowMatrix示例代码时遇到了以下错误： 官网上的源码如下： # Create an RDD of indexed rows. # - This can be done explicitly with the IndexedRow class: indexedRows = sc.paralleli
填坑之pyspark在jupyter中运行报错及spark依赖python版本切换等
qq_29756665的博客
06-04 2168
在ubantu成功安装配置spark等组件后，去pyspark编辑脚本运行，报出错误：Exception: Java gateway process exited before sending the driver its port number。 尝试了大神建议的很多方法都没有解决，如配置JAVA_HOME路径、重装Java版本1.8等等，还有人说用anaconda可以完美解决，但懒于下载配置...
解决运行出现'dict' object has no attribute 'has_key'问题
09-16
### 解决运行出现'dict' object has no attribute 'has_key'问题 在Python编程中，开发者经常会遇到诸如“'dict' object has no attribute 'has_key'”这样的错误提示。这类问题通常出现在Python 2.x与Python 3.x...
AttributeError: ‘BaichuanTokenizer‘ object has no attribute ‘sp_model‘解决方案
最新发布
weixin_43178406的博客
11-22 6万+
本文主要介绍了AttributeError: ‘BaichuanTokenizer’ object has no attribute 'sp_model’解决方案，希望能对学习python的同学们有所帮助。 文章目录 1. 问题描述 2. 解决方案
PysparkNote001---Mac下JupyterNoteBook配置pyspark
此心安处是吾乡
12-12 657
下面这一通设置只是在我的电脑上走通了，参考性存疑。可以多看看文中的参考文章。   每一次安装环境都是伤筋动骨的，心塞塞。由于线上zeppline实在是不太友好，而且和集群相关联，怕有所影响。所以本地安装pyspark，以便学习所用。 1. 环境 Mac:macOS High Sierra 10.13.4 Spark:spark-2.3.0-bin-hadoop2.6 2. Spark安装 2....
3. 'PipelinedRDD' object has no attribute '_jdf'
元元的李树专栏
09-11 6071
3. 'PipelinedRDD' object has no attribute '_jdf' 报这个错，是因为导入的机器学习包错误所致。 pyspark.ml是用来处理DataFrame pyspark.mllib是用来处理RDD。 所以你要看一下你自己代码里定义的是DataFram还是RDD。 此贴来自汇总贴的子问题，只是为了方便查询。 总贴请看置顶帖： pyspark...
Pyspark rdd : ‘RDD‘ object has no attribute ‘flatmap‘
qq_38181970的博客
01-09 293
spark常见报错
pyspark及Spark报错问题汇总及某些函数用法。
元元的李树专栏
01-07 3万+
此贴，主要记录本人在工作中遇到的某些报错问题，并提出自己的解决办法。 1. spark = SparkSession.builder() TypeError: 'Builder' object is not callable 解决办法：.builder() 改为.builderhttps://issues.apache.org/jira/browse/SPARK-1842...
win10的jupyter notebook使用pyspark2.3.2解决的报错问题
yanpenggong的博客
02-11 1142
1、问题出现： py4j.protocol.Py4JJavaError: An error occurred while calling z:org.apache.spark.api.python.PythonRDD.collectAndServe. 关于windows10下使用jupyter notebook时，对于pyspark版本只能取其spark2.3.2版本，具体简单demo如下: ...
第五章：spark-sql实验使用python操作流程
凤凰的博客
05-26 2521
spark-sql实验总结
理工学---数据基础---大数据---spark使用方法(二)
12-05 2658
Spark使用过程中报错汇总报错1： ValueError: Cannot run multiple SparkContexts at once; existing SparkContext(app=PySparkShell, master=local[*]) 原因：出现这个错误是因为之前已经启动了SparkContext 解决方法：查看代码，看是否有多次运行SparkContext实例；也可
Rdd没法调用toDF原因
u013013024的博客
03-20 1万+
创建rdd方法1//use case class Person case class Person(name:String,age:Int) def rddToDFCase(sparkSession : SparkSession):DataFrame = { //导入隐饰操作，否则RDD无法调用toDF方法 import sparkSession.implicits._
spark rdd 和 DF 转换
野兽
08-07 5192
RDD   -》 DF   有两种方式 一、   一、Inferring the Schema Using Reflection   将 RDD[t]   转为一个 object ,然后 to df   val peopleDF = spark.sparkContext .textFile("examples/src/main/resources/people.txt"...
jupyter notebook出现AttributeError: 'str' object has no attribute 'load_javascript'
10-12
这个错误通常是由于 Jupyter Notebook 的版本问题导致的。您可以尝试更新 Jupyter Notebook 或者降级到较旧的版本来解决此问题。...如果更新后仍然出现此错误，您可以尝试卸载并重新安装 Jupyter Notebook。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值