成功解决 spark Error: An error occurred while calling o66.start.AccessControlException: permission deny

最新推荐文章于 2023-05-12 15:42:32 发布
最新推荐文章于 2023-05-12 15:42:32 发布
阅读量963 收藏
点赞数
分类专栏： 工欲善其事必先利其器 文章标签： spark permission deny AccessControl
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/haohaizijhz/article/details/113701698
版权
在进行Spark实时流式处理时遇到`Error: An error occurred while calling o66.start.AccessControlException: permission deny`的问题。错误表现为文件系统禁止writeStream写入数据。解决方法是在集群模式下，为Spark设置检查点位置，如HDFS或S3，设置后程序运行正常，错误消除。
摘要由CSDN通过智能技术生成

目录

 

问题现象

解决办法

问题现象

在实验spark的实时流式处理发现如下错误，具体错误信息如下。 

# 具体错误信息
py4j.protocol.Py4JJavaError: An error occurred while calling o66.start.
: org.apache.hadoop.security.AccessControlException: permission deny
    at org.apache.hadoop.fs.DFileSystem.nativeStat(Native Method)
    at org.apache.hadoop.fs.DFileSystem.getFileStatus(DFileSystem.java:666)
    at org.apache.hadoop.fs.FileSystem.exists(FileSystem.java:666)
    at org.apache.spark.sql.execution.streaming.StreamMetadata$.read(StreamMetadata.scala:666)
    at org.apache.spark.sql.execution.streaming.StreamExecution.<init>(StreamExecution.scala:666)
    at org.apache.spark.sql.execution.streaming.MicroBatchExecution.<in
了解本专栏 订阅专栏 解锁全文 超级会员免费看
只要开始永远不晚
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
已解决：pyspark-Py4JError报错解决Py4JError: An error occurred while calling o35.isBarrier.
酒心★
01-12 7840
遇到如下报错: Py4JError: An error occurred while calling o35.isBarrier. Trace: py4j.Py4JException: Method isBarrier([]) does not exist at py4j.reflection.ReflectionEngine.getMethod(ReflectionEngine.java:31...
Spark提交任务到YARN cluster中，提示An error occurred while calling z:org.apache.spark.api.python.PythonRDD
元元的李树专栏
11-19 1万+
报错日志截取部分如下： XXXXXXXXXX ERROR YarnSchedulerBackend$YarnSchedulerEndpoint:91 - Sending RequestExecutors(0,0,Map(),Set()) to AM was unsuccessful java.io.IOException: Failed to send RPC 7226114124420331...
运行程序遇到的问题
u014229742的博客
07-25 1112
py4j.protocol.Py4JJavaError: An error occurred while calling o36.load. org.apache.spark.SparkException: Unable to create database default as failed to create its directory /user/hive/warehouse at or...
java.io.IOException: (null) entry in command string: null ls -F+文件路径：解决方法
qq_40666270的博客
08-24 2082
java.io.IOException: (null) entry in command string: null ls -F+一个文件路径：解决方法 运行环境为idea 本地运行scala编写的WordCount实例时，出现了java.io.IOException: (null) entry in command string: null ls -F+文件路径 的错误。 原因是想要一次性加载所有文件，但是在加载所有文件的时候，路径指向不对。 我想要读取的是datas下面的所有文件： 我原本的代码为：
错误集合_20220131
Hayden的博客
02-09 2951
文章目录错误集合_20210131[shell脚本遇到问题"\r': command not found"](https://www.cnblogs.com/bugutian/p/11492157.html)bash: dos2unix: command not foundconcurrent_log_handler shutdown close()wins10安装 ConcurrentRotatingFileHandler日志处理包报错py4j.protocol.Py4JError:Py4JJavaErr
spark报出An error occurred while calling o209.showString.和GC overhead limit exceeded的解决方法
大马猴5的博客
12-18 1951
spark报出An error occurred while calling o209.showString.和GC overhead limit exceeded的解决方法
Py4JJavaError: An error occurred while calling o22.trainKMeansModel.
wqqGo的博客
02-21 8267
hduser@master:~$ spark-submit --driver-memory 512m --master local[4] pythonwork/mllib/k_means_example.py Py4JJavaErrorTraceback (most recent call last) /home/hduser/pythonwork/mllib/k_means_example.p...
pyspark报错，An error occurred while calling o123.saveAsTable
Talk Is Cheap
05-12 439
内存溢出，OOM了。
An error occurred while calling z:org.apache.spark.api.python.PythonRDD.collectAndServe.
qq_42754919的博客
11-02 1万+
文章目录1.解决问题2.创建文件夹3.上传文件到指定文件夹 1.解决问题 一开始在本地读取HDFS内的文件，使用下面代码一直报错，翻了很多CSDN博客，配置环境和降低版本都无法解决。 from pyspark import SparkContext sc=SparkContext() rdd1=sc.textFile("/test/food.txt") result=rdd1.collect() print(result) 后面在别人的博客中发现textFile读取文件时路径存在问题，更改如下： fro
已解决：pyspark的常见报错、问题以及解决方法【持续更新】。
酒心★
08-04 1万+
报错原因代码段： from pyspark.ml import Pipeline from pyspark.ml.classification import LogisticRegression from pyspark.ml.feature import HashingTF, Tokenizer # (id, text, label) training = spark.createDataFrame([ (0, "a b c d e spark", 1.0), (1, "b d", 0
Py4JJavaError: An error occurred while calling z:org.apache.spark.api.python.PythonRDD.collectAndSer
阿拉修
03-24 1万+
报错如下： : org.apache.spark.SparkException: Job aborted due to stage failure: Task 0 in stage 3.0 failed 4 times, most recent failure: Lost task 0.3 in stage 3.0 (TID 19, 192.168.10.103, executor 1): org.apache.spark.SparkException: Error from python worker.
pyspark及Spark报错问题汇总及某些函数用法。
热门推荐
元元的李树专栏
01-07 3万+
此贴，主要记录本人在工作中遇到的某些报错问题，并提出自己的解决办法。 1. spark = SparkSession.builder() TypeError: 'Builder' object is not callable 解决办法：.builder() 改为.builderhttps://issues.apache.org/jira/browse/SPARK-1842...
Spark常见报错与解决方案【三】
是故事啊~关注我~
12-07 4244
原因：数据量太大，内存不够 解决方案：(1)增大spark.executor.memory的值，减小spark.executor.cores (2)减少输入数据量，将原来的数据量分几次任务完成，每次读取其中一部分原因：(1)节点上运行的container多，每个任务shuffle write到磁盘的量大，导致磁盘满，节点重启 (2)节点其他服务多，抢占内存资源，NodeManager处于假死状态 解决方案：(1)确保节点没有过多其他服务进程 (2)扩大磁盘容量 (3)降低内存可分配量，比如为总内存的90%，
py4j.protocol.Py4JJavaError: An error...(pyspark aws s3读取数据配置)
bjjoy2009的博客
12-12 8801
bug提示 py4j.protocol.Py4JJavaError: An error occurred while calling o29.csv. java.lang.IllegalAccessError: tried to access method org.apache.hadoop.metrics2.lib.MutableCounterLong 问题原因 pyspark安装配置好读取...
py4j.protocol.Py4JJavaError: An error occurred while calling z:org.apache.spark.api.python.PythonRDD
Sunny_Future的博客
12-03 1万+
jdk版本过高问题 py4j.protocol.Py4JJavaError: An error occurred while calling z:org.apache.spark.api.python.PythonRDD.collectAndServe.: java.lang.IllegalArgumentException: Unsupported class file major versio...
在notebook中使用pyspark遇到的问题
moledyzhang的博客
12-20 7687
代码：from pyspark import SparkContext sc = SparkContext() rdd.getNumPartitions() rdd.glom().collect()遇到的问题： 执行rdd.glom().collect()时出现如下错误：Py4JJavaError: An error occurred while calling z:org.apache.spar
pyspark 写入MySQL报错 An error occurred while calling o45.jdbc.: scala.MatchError: null 解决方案
helloxiaozhe的博客
07-13 9439
当我尝试使用pySpark连接MySQL，将简单的spark dataframe写入MySQL数据时报错，py4j.protocol.Py4JJavaError: An error occurred while calling o45.jdbc.: scala.MatchError: null 错误解决方案（1）错误提示：Fri Jul 13 16:22:56 CST 2018 WARN: Est...
py4j.protocol.Py4JJavaError: An error occurred while calling o67.jdbc.
最新发布
07-28
根据引用\[1\]，报错信息"py4j.protocol.Py4JJavaError: An error occurred while calling o35.load"是由于在调用`load`方法时发生了错误。根据引用\[2\]，可能是由于缺少`mysql-connector-java-8.0.16.jar`包导致的。解决方法是下载该jar包并将其放置在当前路径下。另外，关闭PyCharm并重新打开，再次运行代码可能会解决问题。此外，根据引用\[3\]，还有可能是在文件"C:\Users\PycharmProjects\pythonProjectBasic\18PySpark\12.Test.py"的第47行出现了错误。请检查该行代码并确保其正确性。 #### 引用[.reference_title] - *1* *2* [py4j.protocol.Py4JJavaError: An error occurred while calling o35.load.错误](https://blog.csdn.net/qq_46076785/article/details/120272277)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insert_down28v1,239^v3^insert_chatgpt"}} ] [.reference_item] - *3* [py4j.protocol.Py4JJavaError: An error occurred while calling o116.saveAsTextFile.:](https://blog.csdn.net/yfy1907/article/details/128563550)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insert_down28v1,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

只要开始永远不晚

谢谢打赏~

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值