py4j.protocol.Py4JJavaError: An error occurred while calling o116.saveAsTextFile.:

最新推荐文章于 2024-04-27 13:51:16 发布
最新推荐文章于 2024-04-27 13:51:16 发布
阅读量2.1k 收藏 2
点赞数
分类专栏： pyspark PyCharm 文章标签： hadoop spark Powered by 金山文档
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yfy1907/article/details/128563550
版权

Traceback (most recent call last):

File "C:\Users\PycharmProjects\pythonProjectBasic\18PySpark\12.Test.py", line 47, in <module>

json_rdd.saveAsTextFile("test")

File "C:\Users\Workspaces\Env\pythonProjectBasic\lib\site-packages\pyspark\rdd.py", line 2205, in saveAsTextFile

keyed._jrdd.map(self.ctx._jvm.BytesToString()).saveAsTextFile(path)

File "C:\Users\Workspaces\Env\pythonProjectBasic\lib\site-packages\py4j\java_gateway.py", line 1322, in __call__

return_value = get_return_value(

File "C:\Users\Workspaces\Env\pythonProjectBasic\lib\site-packages\py4j\protocol.py", line 326, in get_return_value

raise Py4JJavaError(

py4j.protocol.Py4JJavaError: An error occurred while calling o116.saveAsTextFile.

: ExitCodeException exitCode=-1073741515:

at org.apache.hadoop.util.Shell.runCommand(Shell.java:1007)

at org.apache.hadoop.util.Shell.run(Shell.java:900)

at org.apache.hadoop.util.Shell$ShellCommandExecutor.execute(Shell.java:1212)

at org.apache.hadoop.util.Shell.execCommand(Shell.java:1306)

at org.apache.hadoop.util.Shell.execCommand(Shell.java:1288)

at org.apache.hadoop.fs.RawLocalFileSystem.setPermission(RawLocalFileSystem.java:978)

at org.apache.hadoop.fs.RawLocalFileSystem.mkOneDirWithMode(RawLocalFileSystem.java:660)

at org.apache.hadoop.fs.RawLocalFileSystem.mkdirsWithOptionalPermission(RawLocalFileSystem.java:700)

at org.apache.hadoop.fs.RawLocalFileSystem.mkdirs(RawLocalFileSystem.java:672)

at org.apache.hadoop.fs.RawLocalFileSystem.mkdirsWithOptionalPermission(RawLocalFileSystem.java:699)

at org.apache.hadoop.fs.RawLocalFileSystem.mkdirs(RawLocalFileSystem.java:672)

at org.apache.hadoop.fs.RawLocalFileSystem.mkdirsWithOptionalPermission(RawLocalFileSystem.java:699)

at org.apache.hadoop.fs.RawLocalFileSystem.mkdirs(RawLocalFileSystem.java:672)

at org.apache.hadoop.fs.ChecksumFileSystem.mkdirs(ChecksumFileSystem.java:788)

at org.apache.hadoop.mapreduce.lib.output.FileOutputCommitter.setupJob(FileOutputCommitter.java:356)

at org.apache.hadoop.mapred.FileOutputCommitter.setupJob(FileOutputCommitter.java:131)

at org.apache.hadoop.mapred.OutputCommitter.setupJob(OutputCommitter.java:265)

at org.apache.spark.internal.io.HadoopMapReduceCommitProtocol.setupJob(HadoopMapReduceCommitProtocol.scala:188)

at org.apache.spark.internal.io.SparkHadoopWriter$.write(SparkHadoopWriter.scala:79)

at org.apache.spark.rdd.PairRDDFunctions.$anonfun$saveAsHadoopDataset$1(PairRDDFunctions.scala:1091)

at scala.runtime.java8.JFunction0$mcV$sp.apply(JFunction0$mcV$sp.java:23)

at org.apache.spark.rdd.RDDOperationScope$.withScope(RDDOperationScope.scala:151)

at org.apache.spark.rdd.RDDOperationScope$.withScope(RDDOperationScope.scala:112)

at org.apache.spark.rdd.RDD.withScope(RDD.scala:406)

at org.apache.spark.rdd.PairRDDFunctions.saveAsHadoopDataset(PairRDDFunctions.scala:1089)

at org.apache.spark.rdd.PairRDDFunctions.$anonfun$saveAsHadoopFile$4(PairRDDFunctions.scala:1062)

at scala.runtime.java8.JFunction0$mcV$sp.apply(JFunction0$mcV$sp.java:23)

at org.apache.spark.rdd.RDDOperationScope$.withScope(RDDOperationScope.scala:151)

at org.apache.spark.rdd.RDDOperationScope$.withScope(RDDOperationScope.scala:112)

at org.apache.spark.rdd.RDD.withScope(RDD.scala:406)

at org.apache.spark.rdd.PairRDDFunctions.saveAsHadoopFile(PairRDDFunctions.scala:1027)

at org.apache.spark.rdd.PairRDDFunctions.$anonfun$saveAsHadoopFile$3(PairRDDFunctions.scala:1009)

at scala.runtime.java8.JFunction0$mcV$sp.apply(JFunction0$mcV$sp.java:23)

at org.apache.spark.rdd.RDDOperationScope$.withScope(RDDOperationScope.scala:151)

at org.apache.spark.rdd.RDDOperationScope$.withScope(RDDOperationScope.scala:112)

at org.apache.spark.rdd.RDD.withScope(RDD.scala:406)

at org.apache.spark.rdd.PairRDDFunctions.saveAsHadoopFile(PairRDDFunctions.scala:1008)

at org.apache.spark.rdd.PairRDDFunctions.$anonfun$saveAsHadoopFile$2(PairRDDFunctions.scala:965)

at scala.runtime.java8.JFunction0$mcV$sp.apply(JFunction0$mcV$sp.java:23)

at org.apache.spark.rdd.RDDOperationScope$.withScope(RDDOperationScope.scala:151)

at org.apache.spark.rdd.RDDOperationScope$.withScope(RDDOperationScope.scala:112)

at org.apache.spark.rdd.RDD.withScope(RDD.scala:406)

at org.apache.spark.rdd.PairRDDFunctions.saveAsHadoopFile(PairRDDFunctions.scala:963)

at org.apache.spark.rdd.RDD.$anonfun$saveAsTextFile$2(RDD.scala:1599)

at scala.runtime.java8.JFunction0$mcV$sp.apply(JFunction0$mcV$sp.java:23)

at org.apache.spark.rdd.RDDOperationScope$.withScope(RDDOperationScope.scala:151)

at org.apache.spark.rdd.RDDOperationScope$.withScope(RDDOperationScope.scala:112)

at org.apache.spark.rdd.RDD.withScope(RDD.scala:406)

at org.apache.spark.rdd.RDD.saveAsTextFile(RDD.scala:1599)

at org.apache.spark.rdd.RDD.$anonfun$saveAsTextFile$1(RDD.scala:1585)

at scala.runtime.java8.JFunction0$mcV$sp.apply(JFunction0$mcV$sp.java:23)

at org.apache.spark.rdd.RDDOperationScope$.withScope(RDDOperationScope.scala:151)

at org.apache.spark.rdd.RDDOperationScope$.withScope(RDDOperationScope.scala:112)

at org.apache.spark.rdd.RDD.withScope(RDD.scala:406)

at org.apache.spark.rdd.RDD.saveAsTextFile(RDD.scala:1585)

at org.apache.spark.api.java.JavaRDDLike.saveAsTextFile(JavaRDDLike.scala:564)

at org.apache.spark.api.java.JavaRDDLike.saveAsTextFile$(JavaRDDLike.scala:563)

at org.apache.spark.api.java.AbstractJavaRDDLike.saveAsTextFile(JavaRDDLike.scala:45)

at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)

at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)

at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)

at java.lang.reflect.Method.invoke(Method.java:498)

at py4j.reflection.MethodInvoker.invoke(MethodInvoker.java:244)

at py4j.reflection.ReflectionEngine.invoke(ReflectionEngine.java:357)

at py4j.Gateway.invoke(Gateway.java:282)

at py4j.commands.AbstractCommand.invokeMethod(AbstractCommand.java:132)

at py4j.commands.CallCommand.execute(CallCommand.java:79)

at py4j.ClientServerConnection.waitForCommands(ClientServerConnection.java:182)

at py4j.ClientServerConnection.run(ClientServerConnection.java:106)

at java.lang.Thread.run(Thread.java:748)

原因：操作系统缺少 dll文件

解决办法：安装常用C++库合集（x86 + 64位）

百度盘： https://pan.baidu.com/s/1dsL0V9dGUYXgEvFZOYLTow

提取码：0cw9

或本站搜索：MSVBCRT_AIO_2018.07.31_X86+X64.exe 下载后安装

经尝试，放置dll:

32位\msvcr120.dll 粘贴到 C:\Windows\System32目录中

64位\msvcr120.dll 粘贴到 C:\Windows\SysWOW64目录中

这种方法没有效果，安装常用C++库合集（x86 + 64位）后解决，

特此记录

参考：https://blog.csdn.net/u013303361/article/details/88853684

Juskey iii
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
关于eclipse安装spring插件报错An error occurred while collecting items to be installed...解决方案
08-25
主要介绍了关于eclipse安装spring插件报错An error occurred while collecting items to be installed...解决方案，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
py4j.protocol.Py4JJavaError: An error occurred while calling o45.load.
sinat_32618807的博客
07-13 1万+
py4j.protocol.Py4JJavaError: An error occurred while calling o45.load. 安装对应MySQL版本的Connector J 8.0（默认地址为C:\Program Files(x86)\MySQL\Connector J 8.0)，再把这个文件夹下的mysql-connector-java-8.0.16.jar复制到spark安装目...
py4j.protocol.Py4JJavaError: An error occurred while calling z:org.apache.spark.api.python.PythonRDD
热门推荐
u011250186的博客
01-05 1万+
今天小编用Python编写Spark程序报了如下异常： py4j.protocol.Py4JJavaError: An error occurred while calling z:org.apache.spark.api.python.PythonRDD.collectAndServe. : java.lang.IllegalArgumentException: Unsupported class file major version 55 从网上找到的解决方案是JDK版本问题，于是乎小编将Ja...
winutils.exe-系统错误，由于找不到MSVCR120.dll,无法继续执行代码。重新安装程序可能会解决此问题。
weixin_44340038的博客
03-08 397
双击 winutils.exe，如果报如下错误。说明缺少微软运行库（正版系统往往有这个问题）。再资料包里面有对应的微软运行库安装包双击安装即可。下载MSVBCRT_AIO_2018.07.31_X86+X64.exe文件并安装。由于找不到MSVCR120.dll,无法继续执行代码。重新安装程序可能会解决此问题。
Markdown : An error occurred with the Html rendering component
01-20
win10系统上安装Markdown时提示错误 可以在软件商店或者网上找到markdown软件，下载安装后打开却出现了以下错误，应该是MarkdownPad 2 在win10下 出现HTML 渲染错误(This view has crashed) 的问题。以下是解决办法。 安装一个SDK的工具包：下载地址 下载之后运行安装包，然后按照下图所示的步骤，无特殊说明的就一路Next。 选择I accept the terms in the… 选择yes，… 然后等待安装 安装过程中会出现如下图所示的一个小弹窗，点击确定，之后继续等待。 安装完成，点击finish。 然后再打开markdown软件就
An internal error occurred during: java.lang.NullPointerException
07-27
实用开发工具Myeclipse，在启动tomcat时，不间断的会弹出 An internal error occurred during: "Calculating completion proposals...". java.lang.NullPointerException的错误对话框！
spark 报错 py4j.protocol.Py4JJavaError错误
从零开始学习python --zeropython
09-04 1万+
Python java:0 >>> r = sc.textFile("~/Desktop/heimao.md") >>> r.take(1) Traceback (most recent call last): File &#...
SparkSql连接数据库报错：py4j.protocol.Py4JJavaError
YongDaiMe的博客
04-06 236
检查连接数据库的参数是否写错，包括驱动名，账号，密码等等。
运行spark的example报错py4j.protocol.Py4JJavaError
ILovePythonhao的博客
06-18 1067
File "/home/hao/Pictures/spark-2.4.3-bin-hadoop2.7/examples/src/main/python/streaming/stateful_network_wordcount.py", line 45, in <module> ssc.checkpoint("checkpoint") py4j.protocol.Py4JJavaError: An error occurred while calling o21.checkpoint. :
Py4JJavaError
wqqGo的博客
06-25 5022
--------------------------------------------------------------------------- Py4JJavaError Traceback (most recent call last) &amp;lt;ipython-input-8-86c1629ebf32&amp;gt; in &amp;lt;modu...
py4j.protocol.Py4JJavaError: An error occurred while calling o32.jdbc.
Zsl0515的博客
05-23 1460
然后将其中的jar包mysql-connector-java-8.0.33.jar放入spark的jars目录下，例如/usr/local/spark/jars。后来发现没有这个驱动，这里注意：要下载和mysql数据库版本一样的驱动。在使用pyspark连接mysql数据库时出现了这个错误。连接数据库时可以发现mysql数据库的版本。然后在去下载对应版本的mysql的jar包。然后重新启动pyspark。
An internal error occurred during: \"Building workspace\". Java heap space
04-11
NULL 博文链接：https://xiaoxuejie.iteye.com/blog/1679119
py4j-0.10.7-API文档-中文版.zip
06-26
赠送jar包：py4j-0.10.7.jar； 赠送原API文档：py4j-0.10.7-javadoc.jar； 赠送源代码：py4j-0.10.7-sources.jar； 赠送Maven依赖信息文件：py4j-0.10.7.pom； 包含翻译后的API文档：py4j-0.10.7-javadoc-API文档-中文(简体)版.zip； Maven坐标：net.sf.py4j:py4j:0.10.7； 标签：sf、py4j、中文文档、jar包、java； 使用方法：解压翻译后的API文档，用浏览器打开“index.html”文件，即可纵览文档内容。 人性化翻译，文档中的代码和结构保持不变，注释和说明精准翻译，请放心使用。
解决 github项目clone报错 Failed connect to github.com:443; Connection
01-09
系统环境：CentOS Linux release 7.6.1810 (Core)  起因：npm构建时报错 npm ERR! Error while executing: npm ERR! /usr/bin/git ls-remote -h -t https://github.com/nhn/raphael.git npm ERR! npm ERR! fatal: unable to access 'https://github.com/nhn/raphael.git/': Failed connect to github.com:443; Connection timed out npm
Hadoop之路---伪分布式环境搭建
kuyecsl的博客
04-26 560
hadoop更适合在liunx环境下运行，会节省后期很多麻烦，而用虚拟器就太占主机内存了，因此后面我们将把hadoop安装到wsl后进行学习,后续学习的环境是Ubuntu-16.04 （千万强调，有的命令一定要加sudo!千万强调，有的命令一定要加sudo!千万强调，有的命令一定要加sudo!
大数据面试题 —— Spark数据倾斜及其解决方案
hu_wei123的博客
04-27 851
有的时候，我们可能会遇到大数据计算中一个最棘手的问题 ——数据倾斜，此时 Spark 作业的性能会比期望差很多。数据倾斜调优，就是使用各种技术方案解决不同类型的数据倾斜问题，以保证 Spark 作业的性能。
Spark原理之Cache Table的工作原理及实现自动缓存重复表的思考
Dreamming Time的博客
04-26 590
CACHE TABLE，可以让用户自定义要缓存的结果集，实际上就是一个临时表，不过数据存储在Spark集群内部，由Application所分配的executors管理。 一旦定义了一个缓存表，就可以在SQL脚本中随处引用这个表名，提高数据检索速度，同时也会资源不必要的资源开销。
node-v12.22.1-linux-x64.tar.xz
最新发布
04-29
Node.js，简称Node，是一个开源且跨平台的JavaScript运行时环境，它允许在浏览器外运行JavaScript代码。Node.js于2009年由Ryan Dahl创立，旨在创建高性能的Web服务器和网络应用程序。它基于Google Chrome的V8 JavaScript引擎，可以在Windows、Linux、Unix、Mac OS X等操作系统上运行。 Node.js的特点之一是事件驱动和非阻塞I/O模型，这使得它非常适合处理大量并发连接，从而在构建实时应用程序如在线游戏、聊天应用以及实时通讯服务时表现卓越。此外，Node.js使用了模块化的架构，通过npm（Node package manager，Node包管理器）,社区成员可以共享和复用代码，极大地促进了Node.js生态系统的发展和扩张。 Node.js不仅用于服务器端开发。随着技术的发展，它也被用于构建工具链、开发桌面应用程序、物联网设备等。Node.js能够处理文件系统、操作数据库、处理网络请求等，因此，开发者可以用JavaScript编写全栈应用程序，这一点大大提高了开发效率和便捷性。 在实践中，许多大型企业和组织已经采用Node.js作为其Web应用程序的开发平台，如Netflix、PayPal和Walmart等。它们利用Node.js提高了应用性能，简化了开发流程，并且能更快地响应市场需求。
基于微信小程序的校园综合服务小程序
04-29
大学生毕业设计、大学生课程设计作业
py4j.protocol.Py4JJavaError: An error occurred while calling o67.jdbc.
07-28
根据引用\[1\]，报错信息"py4j.protocol.Py4JJavaError: An error occurred while calling o35.load"是由于在调用`load`方法时发生了错误。根据引用\[2\]，可能是由于缺少`mysql-connector-java-8.0.16.jar`包导致的。解决方法是下载该jar包并将其放置在当前路径下。另外，关闭PyCharm并重新打开，再次运行代码可能会解决问题。此外，根据引用\[3\]，还有可能是在文件"C:\Users\PycharmProjects\pythonProjectBasic\18PySpark\12.Test.py"的第47行出现了错误。请检查该行代码并确保其正确性。 #### 引用[.reference_title] - *1* *2* [py4j.protocol.Py4JJavaError: An error occurred while calling o35.load.错误](https://blog.csdn.net/qq_46076785/article/details/120272277)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insert_down28v1,239^v3^insert_chatgpt"}} ] [.reference_item] - *3* [py4j.protocol.Py4JJavaError: An error occurred while calling o116.saveAsTextFile.:](https://blog.csdn.net/yfy1907/article/details/128563550)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insert_down28v1,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值