pyspark报错: invalid stream header

最新推荐文章于 2022-04-26 13:57:38 发布
最新推荐文章于 2022-04-26 13:57:38 发布
阅读量1.9k 收藏
点赞数
分类专栏： spark 文章标签： spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u011011025/article/details/53083726
版权
在使用pyspark进行RDD操作时，遇到'invalid stream header'错误。该错误可能由多个ObjectOutputStream写入同一OutputStream引起。尝试重启pyspark可暂时解决问题，但之后再次出现。分析认为，可能是比较RDD元素时多次使用了FileOutputStream导致。寻求解决方案。
摘要由CSDN通过智能技术生成

当我对rdd进行map操作的时候，就是添加一个字段，表示其中的两个字段是否相等，然后报这个错误。

Google后也没找到确切的解决方案，因为是用python编程，对java不熟悉，估计是java对象读写数据的时候发生的问题.
google的答案：
I can tell you that this usually means somewhere something wrote 
objects to the same OutputStream with multiple ObjectOutputStreams. AC 
最低0.47元/天 解锁文章
la_啦
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
解决pytorch报错:AssertionError: Invalid device id的问题
01-21
在服务器上训练的网络放到本地台式机进行infer，结果出现报错： AssertionError: Invalid device id ...以上这篇解决pytorch报错:AssertionError: Invalid device id的问题就是小编分享给大家的全部内容了，
由于对象流解析的数据与流的头部信息不匹配导致异常 java.io.StreamCorruptedException: invalid stream header: 7372001
Sunshine_QS的博客
04-10 2987
对象，但服务器端使用了两个不同的对象输入流同时读取这个输出流，这导致两个输入流读取的顺序可能不同，从而导致异常。对象输出流序列化数据时，会把数据的数据格式（可以理解为数据存在的形式、在代码中的位置等等）写在流的对象头中，如果读取时的顺序与写入时的顺序不一致，或者在写入或读取对象头和对象内容之间更改了流的状态，则会出现。当使用对象流时，对象头和对象内容一起被写入输出流，而读取时也需要以相同的顺序读取对象头和对象内容。但是2号对象拿到的这张表格和1号对象拿到的是一样的，上面写了。而当1号对象输入流读取了。
[Exception]java.io.StreamCorruptedException: invalid stream header
Alian_W的博客
03-03 1448
[Exception]java.io.StreamCorruptedException: invalid stream header 今天在做模型序列化保存的时候出现这个异常，首先给大家介绍一下场景。我在Spark-mllib的环境下将训练好的模型序列化，并且将序列化的Byte数组存入数据库。但是在从数据库中读取出Byte数组后，反序列化的过程中弹出这个异常。 异常定位的代码如下： *** val reloadedModel: KMeansModel = reloadModel("kmeans") def
spark任务shell运行_java调用shell脚本执行spark任务错误
weixin_42405503的博客
01-30 592
java调用shell脚本执行spark任务使用java通过 Runtime.getRuntime().exec(); 调用shell 脚本，在脚本中执行 spark 任务会报错，如下：19/05/15 15:46:47 WARN StandaloneAppClient$ClientEndpoint: Failed to connect to master 192.168.9.2:7077org....
【spark】搭建生产环境的spark服务
lsr40的博客
01-30 1826
固定开头，菜鸡一只，如有说错，请大家批评指出，一定改正！ 事情是这样，当我们学习spark的时候，搭建一个环境是最简单也是最开始我们要做的， 一般情况下，我们都是使用虚拟机（linux机器）来搭建spark的环境，然后让spark运行在yarn上（其实也有其他几个模式，但是yarn模式是较常见的通用的资源管理平台） 但是本文要说的是如何在生产（环境）服务器上，搭建自己的spark环境   ...
java.io.StreamCorruptedException: invalid stream header at java.io.ObjectInp
zhangshufei的博客
07-05 324
最近，在部署程序重新启动Tomcat，报 java.io.StreamCorruptedException: invalid stream header at java.io.ObjectInp ~~~~~~~~~~~~~~~~~~ 仔细查阅了一下源代码，没有什么问题；在自己机器上测试，也没有问题；最后清整了一下tomcat下的work文件夹，居然行了！ 分析，有可能是在关闭tomcat...
连接高斯GaussDB报错：Invalid or unsupported by client SCRAM mechanisms
最新发布
04-23
gaussDB驱动
OAuth2获取token报错invalid stream header
12-14
记一次异常解决：OAuth2获取token报错invalid stream header 在整合springcloud gateway、eureka、security、OAuth2的时候，采用授权码模式，用授权码去访问/oauth/token获取token时，遇到invalid stream header异常...
CentOS6挂载linux7samba服务时报错：mount error(22): Invalid argument Refer to the mount.cifs(8) manual page (
01-03
查看samba的版本是4版本的： [root@redhat_192.168.0.12 16:08:07 ~]#rpm -qa samba samba-4.9.1-6.el7.x86_64 找了好久，百度上一直都是mount命令加各种参数，确认了用户跟密码都没有问题，目录权限也都给了，最后...
invalid stream header
weixin_42147181的博客
02-21 1175
反序列化与序列化文件不一致导致出错，修改一致即可
java基础避坑（七）——invalid Stream Header
热门推荐
shanheye的博客
02-09 1万+
invalid stream header异常
C++ buider error creating form : Invalid stream format
cccandccc的博客
06-16 2251
程序不知道怎么的了，并没有去删除或怎么样的，昨天还是可以的，今天早上打开的时候就提示有错误了，一直在报错如下图： 显示的是我的第二个界面的相应的文件有问题，导致我的另一个Form一直无法打开，这么多控件，实在是不想重新画。于是找到这个文件，用记事本打开，一看就惊呆了，竟然全是汉字 是这样的：这个写博文的编辑器我也不会用，可能格式会很乱，慢慢来。 这样我就知道，肯定是这样文件有问题，导致我的程序
pdf.js出现bug：Warning: Invalid stream: “FormatError: Bad FCHECK in flate stream: 120, 239“
树上骑个猴的博客
04-26 3911
从接口拿到的文件流： 1.响应头： 2.请求头： 原因： 接收到文件流后，格式不对导致pdf.js无法流量。 解决方案： 收到文件流后，使用响应的数据创建一个 blob，然后使用该 blob 创建一个 url。 const blob = new Blob([data], {type: 'application/pdf'})// data为文件流数据 let url = window.URL.createObjectURL(blob) 我的代码案例： src/utils/request.js i
InvalidFormatException:Your stream was neither an OLE2 stream, nor an OOXML stream
懒惰的小妖
02-05 3445
这里poi导出excel报错，InvalidFormatException:Your stream was neither an OLE2 stream, nor an OOXML stream 跟踪代码后，发现下载不了，代码写的没问题 导出失败原因：application.properties配置文件中配置的地址有误； 解决：配置正确的地址； 这里记录一下，主要看到这个错就会习惯性的去看代码，认为代码的问题，但其实并不是，还要考虑地址是否正确配置。 查看报错信息： org.apache.poi
invalid stream header: 7B224063 java.io.StreamCorruptedException: invalid stream header: 7B224063
05-18
这个错误通常是因为你尝试从一个不是ObjectInputStream的流中读取对象。请确保你使用ObjectInputStream来读取对象，并且确保输入流的数据是由ObjectOutputStream写入的。你可以检查一下代码，看看是否有其他地方使用了不同类型的流读写数据。如果问题仍然存在，请提供更多的代码细节和上下文信息，以便更好地诊断问题。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值