错误信息：ERROR StreamMetadata：Error writing stream metadata StreamMetadata...

最新推荐文章于 2024-04-26 09:51:23 发布
最新推荐文章于 2024-04-26 09:51:23 发布
阅读量739 收藏
点赞数 1
分类专栏： hadoop spark 文章标签： hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/godlovedaniel/article/details/114374954
版权
spark 同时被 2 个专栏收录
22 篇文章 11 订阅
订阅专栏
hadoop
21 篇文章 3 订阅
订阅专栏

错误信息：ERROR StreamMetadata：Error writing stream metadata StreamMetadata...

2021-03-04 12:44:36 ERROR StreamMetadata:91 - Error writing stream metadata StreamMetadata(560a0eee-4f40-4754-ae1b-30f3763e8214) to C:/Users/Dandan/AppData/Local/Temp/temporary-e651f61c-b624-4106-9603-d1cee00858cd/metadata
java.lang.NullPointerException
	at java.lang.ProcessBuilder.start(ProcessBuilder.java:1012)
	at org.apache.hadoop.util.Shell.runCommand(Shell.java:404)
	at org.apache.hadoop.util.Shell.run(Shell.java:379)
	at org.apache.hadoop.util.Shell$ShellCommandExecutor.execute(Shell.java:589)
	at org.apache.hadoop.util.Shell.execCommand(Shell.java:678)
	at org.apache.hadoop.util.Shell.execCommand(Shell.java:661)
	at org.apache.hadoop.fs.RawLocalFileSystem.setPermission(RawLocalFileSystem.java:639)
	at org.apache.hadoop.fs.FilterFileSystem.setPermission(FilterFileSystem.java:468)
	at org.apache.hadoop.fs.ChecksumFileSystem.create(ChecksumFileSystem.java:456)
	at org.apache.hadoop.fs.ChecksumFileSystem.create(ChecksumFileSystem.java:424)
	at org.apache.hadoop.fs.FileSystem.create(FileSystem.java:905)
	at org.apache.hadoop.fs.FileSystem.create(FileSystem.java:886)
	at org.apache.hadoop.fs.FileSystem.create(FileSystem.java:783)
	at org.apache.hadoop.fs.FileSystem.create(FileSystem.java:772)
	at org.apache.spark.sql.execution.streaming.StreamMetadata$.write(StreamMetadata.scala:76)
	at org.apache.spark.sql.execution.streaming.StreamExecution$$anonfun$6.apply(StreamExecution.scala:107)
	at org.apache.spark.sql.execution.streaming.StreamExecution$$anonfun$6.apply(StreamExecution.scala:105)
	at scala.Option.getOrElse(Option.scala:121)
	at org.apache.spark.sql.execution.streaming.StreamExecution.<init>(StreamExecution.scala:105)
	at org.apache.spark.sql.streaming.StreamingQueryManager.createQuery(StreamingQueryManager.scala:242)
	at org.apache.spark.sql.streaming.StreamingQueryManager.startQuery(StreamingQueryManager.scala:280)
	at org.apache.spark.sql.streaming.DataStreamWriter.start(DataStreamWriter.scala:268)
	at com.jiaxun.iot.phm.app.sparkstreaming.processor.PHMIoTEventMainStreamController.processEvent(PHMIoTEventMainStreamController.java:323)
	at com.jiaxun.iot.phm.app.sparkstreaming.processor.PHMIoTEventMainStreamController.main(PHMIoTEventMainStreamController.java:61)
Exception in thread "main" java.lang.NullPointerException
	at java.lang.ProcessBuilder.start(ProcessBuilder.java:1012)
	at org.apache.hadoop.util.Shell.runCommand(Shell.java:404)
	at org.apache.hadoop.util.Shell.run(Shell.java:379)
	at org.apache.hadoop.util.Shell$ShellCommandExecutor.execute(Shell.java:589)
	at org.apache.hadoop.util.Shell.execCommand(Shell.java:678)
	at org.apache.hadoop.util.Shell.execCommand(Shell.java:661)
	at org.apache.hadoop.fs.RawLocalFileSystem.setPermission(RawLocalFileSystem.java:639)
	at org.apache.hadoop.fs.FilterFileSystem.setPermission(FilterFileSystem.java:468)
	at org.apache.hadoop.fs.ChecksumFileSystem.create(ChecksumFileSystem.java:456)
	at org.apache.hadoop.fs.ChecksumFileSystem.create(ChecksumFileSystem.java:424)
	at org.apache.hadoop.fs.FileSystem.create(FileSystem.java:905)
	at org.apache.hadoop.fs.FileSystem.create(FileSystem.java:886)
	at org.apache.hadoop.fs.FileSystem.create(FileSystem.java:783)
	at org.apache.hadoop.fs.FileSystem.create(FileSystem.java:772)
	at org.apache.spark.sql.execution.streaming.StreamMetadata$.write(StreamMetadata.scala:76)
	at org.apache.spark.sql.execution.streaming.StreamExecution$$anonfun$6.apply(StreamExecution.scala:107)
	at org.apache.spark.sql.execution.streaming.StreamExecution$$anonfun$6.apply(StreamExecution.scala:105)
	at scala.Option.getOrElse(Option.scala:121)
	at org.apache.spark.sql.execution.streaming.StreamExecution.<init>(StreamExecution.scala:105)
	at org.apache.spark.sql.streaming.StreamingQueryManager.createQuery(StreamingQueryManager.scala:242)
	at org.apache.spark.sql.streaming.StreamingQueryManager.startQuery(StreamingQueryManager.scala:280)
	at org.apache.spark.sql.streaming.DataStreamWriter.start(DataStreamWriter.scala:268)
	at com.jiaxun.iot.phm.app.sparkstreaming.processor.PHMIoTEventMainStreamController.processEvent(PHMIoTEventMainStreamController.java:323)
	at com.jiaxun.iot.phm.app.sparkstreaming.processor.PHMIoTEventMainStreamController.main(PHMIoTEventMainStreamController.java:61)
2021-03-04 12:44:36 ERROR ShutdownHookManager:91 - Exception while deleting Spark temp dir: C:\Users\Dandan\AppData\Local\Temp\temporary-e651f61c-b624-4106-9603-d1cee00858cd
java.io.IOException: Failed to delete: C:\Users\Dandan\AppData\Local\Temp\temporary-e651f61c-b624-4106-9603-d1cee00858cd
	at org.apache.spark.util.Utils$.deleteRecursively(Utils.scala:1010)
	at org.apache.spark.util.ShutdownHookManager$$anonfun$1$$anonfun$apply$mcV$sp$3.apply(ShutdownHookManager.scala:65)
	at org.apache.spark.util.ShutdownHookManager$$anonfun$1$$anonfun$apply$mcV$sp$3.apply(ShutdownHookManager.scala:62)
	at scala.collection.IndexedSeqOptimized$class.foreach(IndexedSeqOptimized.scala:33)
	at scala.collection.mutable.ArrayOps$ofRef.foreach(ArrayOps.scala:186)
	at org.apache.spark.util.ShutdownHookManager$$anonfun$1.apply$mcV$sp(ShutdownHookManager.scala:62)
	at org.apache.spark.util.SparkShutdownHook.run(ShutdownHookManager.scala:216)
	at org.apache.spark.util.SparkShutdownHookManager$$anonfun$runAll$1$$anonfun$apply$mcV$sp$1.apply$mcV$sp(ShutdownHookManager.scala:188)
	at org.apache.spark.util.SparkShutdownHookManager$$anonfun$runAll$1$$anonfun$apply$mcV$sp$1.apply(ShutdownHookManager.scala:188)
	at org.apache.spark.util.SparkShutdownHookManager$$anonfun$runAll$1$$anonfun$apply$mcV$sp$1.apply(ShutdownHookManager.scala:188)
	at org.apache.spark.util.Utils$.logUncaughtExceptions(Utils.scala:1951)
	at org.apache.spark.util.SparkShutdownHookManager$$anonfun$runAll$1.apply$mcV$sp(ShutdownHookManager.scala:188)
	at org.apache.spark.util.SparkShutdownHookManager$$anonfun$runAll$1.apply(ShutdownHookManager.scala:188)
	at org.apache.spark.util.SparkShutdownHookManager$$anonfun$runAll$1.apply(ShutdownHookManager.scala:188)
	at scala.util.Try$.apply(Try.scala:192)
	at org.apache.spark.util.SparkShutdownHookManager.runAll(ShutdownHookManager.scala:188)
	at org.apache.spark.util.SparkShutdownHookManager$$anon$2.run(ShutdownHookManager.scala:178)
	at org.apache.hadoop.util.ShutdownHookManager$1.run(ShutdownHookManager.java:54)

Process finished with exit code 1

主要原因电脑配置环境缺hadoop.ddl文件

下载一个 hadoop.dll 放到   C:\Windows\System32 这里就行了

链接：https://pan.baidu.com/s/15hn3VYMLVPcGlinGfLq4nA 
提取码：786k

重新执行后运行成功

 

 

莫叫石榴姐
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
【Spark】Spark 报错 error writing stream metadata exitcode=1073741515
九师兄
04-21 495
1.场景1 根据博客： https://blog.csdn.net/psp0001060/article/details/83057663 https://blog.csdn.net/lxpqxl/article/details/105553803 两个博客都为解决
Structured Streaming
leezsj的博客
08-24 281
Structured Streaming Structured Streaming 是 Spark Streaming 的进化版, 如果了解了 Spark 的各⽅⾯的进化过程, 有助于理 解 Structured Streaming 的使命和作⽤ \1. Spark 的 API 进化过程 \2. Spark 的序列化进化过程 \3. Spark Streaming 和 Structured Streaming Spark 编程模型的进化过程 ⽬标 Spark 的进化过程中, ⼀个⾮常重要的组
错误信息：ERROR StreamMetadata：Error writing stream metadata StreamMetadata...
lxpqxl的博客
04-16 2371
错误信息：ERRORStreamMetadata：ErrorwritingstreammetadataStreamMetadata... 原因（很多种，我的是这样）：电脑配置环境缺东西 下载一个hadoop.dll放到 C:\Windows\System32这里就行了 链接：https://pan.baidu.com/s/15hn3VYMLVPcGlinGf...
structed streaming基础---跳过的坑
weixin_30797027的博客
09-20 1048
1.spark structed streaming 报如图下面的错误 在pom.xml加这个配置即可 <spark.version>2.3.0</spark.version> <scala.version>2.11</scala.version> <dependency> <groupId&gt...
spark错误集锦
最新发布
chanyue123的博客
04-26 1047
spark遇到的错误 持续更新
error while writing to output stream
weixin_46587777的博客
12-20 511
cairo error 'error while writing to output stream'，unable to start device 'cairo_pdf'
java呈现pdf时出错,java 导出pdf wkhtmltopdf 载入PDF时发生错误 stream must have data
weixin_39609503的博客
03-15 8821
原理是把需要填充打印的内容填充到freemarker模板文件ftl，然后生成html文件，然后java调用cmd命令行把html生成pdf。总结起来就是一次填充两次写文件流一次读文件。// 创建配置Configuration cfg = new Configuration(new Version(2, 3, 0));Process p = null;try {// 指定模板存放的路径cfg.set...
php使用weiboad/kafka-php推送错误Could not write xxx bytes to stream解决
jeevi的博客
05-28 1407
线上使用php的客户端是 https://github.com/weiboad/kafka-php 版本:dev-master 线上经常报错误: Could not write 1422 bytes to stream 追查源码后发现在CommonSocket.php 文件中 writeBlocking方法 public function writeBlocking(string $buffer...
apktool打包遇到org.jf.util.ExceptionWithContext: Error while writing instruction at code offset 0x13
Sim的博客
12-01 1714
apktool 回编译时出现如下错误： D:\qytx_pack\FusionPack>apktool b -f game -o 1.apk I: Using Apktool 2.3.4 I: Smaling smali folder into classes.dex... Exception in thread "main" org.jf.util.ExceptionWithContext: Exception occurred while writing code_item for method
jquery.metadata.js.zip
07-10
《jQuery Metadata插件详解及其应用》 在JavaScript的世界里，jQuery库以其易用性和强大的功能深受开发者喜爱。而jQuery Metadata插件是jQuery生态系统中的一个重要组件，它允许开发者从HTML元素中提取元数据...
[Oracle] dbms_metadata.get_ddl 的使用方法总结
09-10
Oracle数据库中的`dbms_metadata.get_ddl`是一个非常实用的包，它允许开发人员和管理员获取数据库对象的创建语句（DDL），这对于备份和恢复、迁移或者理解对象定义非常有帮助。下面我们将深入探讨`dbms_metadata.get...
metadata-parser:Chef Cookbook metadata.rb解析器
05-07
元数据解析器用于Golang的Chef Cookbook元数据依赖项解析器库什么为什么？... meta, err := metadata.NewParser(strings.NewReader(metadata)).Parse()if err != nil { fmt.Println(" Error parsing: ", err)
jquery.metadata.js和jquery.validate.js
02-02
在本主题中，我们重点关注两个与jQuery相关的插件：`jquery.metadata.js`和`jquery.validate.js`，它们对于创建高效、用户友好的表单验证至关重要，特别是在注册和登录等关键界面。 `jquery.metadata.js`是jQuery的...
global-metadata.dat
08-26
grasscutter3.0版本客户端补丁 grasscutter3.0版本4214错误补丁 genshin3.0版本客户端补丁 genshin3.0版本4214错误补丁 ...将原有global-metadata.dat替换（请备份原文件，貌似不会自动下载回来） 再打开即可成功登录
Java ProcessBuilder redirectErrorStream（）方法与示例
cumubi7552的博客
06-28 3188
Syntax: 句法： public boolean redirectErrorStream (); public ProcessBuilder redirectErrorStream (boolean re_err_stm); ProcessBuilder类redirectErrorStream()方法 (ProcessBuilder Class redirect...
StreamingResponseBody-处理Servlet异步I/O请求
芥末鱿鱼~的博客
07-05 3575
StreamingResponseBody-处理Servlet异步请求 StreamingResponseBody是Spring 4.2版本添加的一个新的接口，在Controller里处理输出流时非常有用。 我们在java中创建I/O输入输出流时，一般用完流后都要关闭流，但是在Controller里面，处理Http request是异步的，这个时候如果往request里写入流的时候，我们无法确...
Runtime exec: 读InputStream & ErrorStream 没反应
Step Up
11-14 2798
用Runtime exec 执行一个命令时，我希望能读出命令的输出和error，于是我先读Input, 再读error Process p = Runtime.getRuntime().exec(command); BufferedReader reader = new BufferedReader(new InputStreamReader( p.getInputStream(
hadoop本地模式运行报错解决(Exception in thread main ExitCodeException exitCode=-1073741701)
qew110123的专栏
05-19 1572
如标题 Error writing stream metadata StreamMetadata(1b80132f-e576-4cbc-be60-e48a1e3fa96b) to file:/C:/Users/admin/AppData/Local/Temp/temporary-8687c9c8-5662-49ae-af09-edf8e828c18b/metadata ExitCodeException exitCode=-1073741701: Error writing stream metad
StructuredStreaming -- 01 【概述，编程模型，source，sink】
xiaoxiao______的博客
12-09 246
文章目录Structured Streaming1、 回顾1.1、Spark 编程模型的进化过程总结1.2、Spark 的 序列化 的进化过程1.2.1、 什么是序列化和序列化?1.2.2、 在 `Spark` 中的序列化和反序列化的应用场景1.2.3、 RDD 的序列化1.2.4、 DataFrame 和 Dataset 中的序列化总结1.3、Spark Streaming 和 Structured Streaming2、 Structured Streaming 入门案例2.1、需求梳理2.2、 代码实
安装Theano-1.0.5.出现error: metadata-generation-failed
04-11
安装Theano-1.0.5时出现"error: metadata-generation-failed"错误通常是由于网络连接问题导致的。这个错误表示pip无法从PyPI（Python Package Index）获取Theano的元数据信息。 解决这个问题的方法有以下几种： 1. 检查网络连接：确保你的网络连接正常，可以尝试使用浏览器访问PyPI网站（https://pypi.org/）来确认是否能够正常访问。 2. 更换源：有时候PyPI的源可能会出现问题，你可以尝试更换为其他可用的源。可以使用以下命令来更换源： ``` pip install Theano-1.0.5 -i https://pypi.tuna.tsinghua.edu.cn/simple/ ``` 这里使用了清华大学的镜像源，你也可以选择其他可用的镜像源。 3. 使用离线安装包：如果你无法通过网络安装Theano，可以尝试下载Theano的离线安装包，然后使用本地安装的方式进行安装。你可以在Theano的官方网站（https://github.com/Theano/Theano/releases）上找到相应版本的离线安装包。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值