海豚dolphinscheduler-shell 执行hivesql任务 Permission denied 异常

已于 2023-04-20 14:17:44 修改
阅读量1.6k 收藏 1
点赞数
文章标签： log4j apache java
于 2023-04-20 14:17:18 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u014539465/article/details/130265255
版权
在DolphinScheduler中执行涉及HSQL的任务时，遇到了由于缺少对/tmp/dolphinscheduler/hive.log文件的写权限导致的错误。异常详细信息涉及到log4j的配置问题，无法创建或访问该日志文件。解决方案包括使用命令行添加文件权限，创建并修改用户组，以及更新用户到组的映射。
摘要由CSDN通过智能技术生成

一、dolphinscheduler 执行shell处理hsql任务时出现没有访问权限

关键异常：

/tmp/dolphinscheduler/hive.log (Permission denied) java.io.FileNotFoundException: /tmp/dolphinscheduler/hive.log (Permission denied)

异常明细：

[INFO] 2023-04-20 11:09:03.350  - [taskAppId=TASK-43-815-3377]:[129] -  -> 2023-04-20 11:09:02,670 main ERROR Cannot access RandomAccessFile java.io.FileNotFoundException: /tmp/dolphinscheduler/hive.log (Permission denied) java.io.FileNotFoundException: /tmp/dolphinscheduler/hive.log (Permission denied)
		at java.io.RandomAccessFile.open0(Native Method)
		at java.io.RandomAccessFile.open(RandomAccessFile.java:316)
		at java.io.RandomAccessFile.<init>(RandomAccessFile.java:243)
		at java.io.RandomAccessFile.<init>(RandomAccessFile.java:124)
		at org.apache.logging.log4j.core.appender.rolling.RollingRandomAccessFileManager$RollingRandomAccessFileManagerFactory.createManager(RollingRandomAccessFileManager.java:180)
		at org.apache.logging.log4j.core.appender.rolling.RollingRandomAccessFileManager$RollingRandomAccessFileManagerFactory.createManager(RollingRandomAccessFileManager.java:156)
		at org.apache.logging.log4j.core.appender.AbstractManager.getManager(AbstractManager.java:112)
		at org.apache.logging.log4j.core.appender.OutputStreamManager.getManager(OutputStreamManager.java:114)
		at org.apache.logging.log4j.core.appender.rolling.RollingRandomAccessFileManager.getRollingRandomAccessFileManager(RollingRandomAccessFileManager.java:87)
		at org.apache.logging.log4j.core.appender.RollingRandomAccessFileAppender$Builder.build(RollingRandomAccessFileAppender.java:116)
		at org.apache.logging.log4j.core.appender.RollingRandomAccessFileAppender$Builder.build(RollingRandomAccessFileAppender.java:52)
		at org.apache.logging.log4j.core.config.plugins.util.PluginBuilder.build(PluginBuilder.java:122)
		at org.apache.logging.log4j.core.config.AbstractConfiguration.createPluginObject(AbstractConfiguration.java:952)
		at org.apache.logging.log4j.core.config.AbstractConfiguration.createConfiguration(AbstractConfiguration.java:892)
		at org.apache.logging.log4j.core.config.AbstractConfiguration.createConfiguration(AbstractConfiguration.java:884)
		at org.apache.logging.log4j.core.config.AbstractConfiguration.doConfigure(AbstractConfiguration.java:508)
		at org.apache.logging.log4j.core.config.AbstractConfiguration.initialize(AbstractConfiguration.java:232)
		at org.apache.logging.log4j.core.config.AbstractConfiguration.start(AbstractConfiguration.java:244)
		at org.apache.logging.log4j.core.LoggerContext.setConfiguration(LoggerContext.java:545)
		at org.apache.logging.log4j.core.LoggerContext.start(LoggerContext.java:261)
		at org.apache.logging.log4j.core.impl.Log4jContextFactory.getContext(Log4jContextFactory.java:239)
		at org.apache.logging.log4j.core.config.Configurator.initialize(Configurator.java:159)
		at org.apache.logging.log4j.core.config.Configurator.initialize(Configurator.java:131)
		at org.apache.logging.log4j.core.config.Configurator.initialize(Configurator.java:101)
		at org.apache.logging.log4j.core.config.Configurator.initialize(Configurator.java:188)
		at org.apache.hadoop.hive.common.LogUtils.initHiveLog4jDefault(LogUtils.java:176)
		at org.apache.hadoop.hive.common.LogUtils.initHiveLog4jCommon(LogUtils.java:109)
		at org.apache.hadoop.hive.common.LogUtils.initHiveLog4jCommon(LogUtils.java:101)
		at org.apache.hadoop.hive.common.LogUtils.initHiveLog4j(LogUtils.java:84)
		at org.apache.hadoop.hive.cli.CliDriver.run(CliDriver.java:717)
		at org.apache.hadoop.hive.cli.CliDriver.main(CliDriver.java:701)
		at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
		at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
		at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
		at java.lang.reflect.Method.invoke(Method.java:498)
		at org.apache.hadoop.util.RunJar.run(RunJar.java:313)
		at org.apache.hadoop.util.RunJar.main(RunJar.java:227)
	
	2023-04-20 11:09:02,674 main ERROR Unable to inject fields into builder class for plugin type class org.apache.logging.log4j.core.appender.RollingRandomAccessFileAppender, element RollingRandomAccessFile. java.lang.IllegalStateException: ManagerFactory [org.apache.logging.log4j.core.appender.rolling.RollingRandomAccessFileManager$RollingRandomAccessFileManagerFactory@f627d13] unable to create manager for [/tmp/dolphinscheduler/hive.log] with data [org.apache.logging.log4j.core.appender.rolling.RollingRandomAccessFileManager$FactoryData@4e928fbf]
		at org.apache.logging.log4j.core.appender.AbstractManager.getManager(AbstractManager.java:114)
		at org.apache.logging.log4j.core.appender.OutputStreamManager.getManager(OutputStreamManager.java:114)
		at org.apache.logging.log4j.core.appender.rolling.RollingRandomAccessFileManager.getRollingRandomAccessFileManager(RollingRandomAccessFileManager.java:87)
		at org.apache.logging.log4j.core.appender.RollingRandomAccessFileAppender$Builder.build(RollingRandomAccessFileAppender.java:116)
		at org.apache.logging.log4j.core.appender.RollingRandomAccessFileAppender$Builder.build(RollingRandomAccessFileAppender.java:52)
		at org.apache.logging.log4j.core.config.plugins.util.PluginBuilder.build(PluginBuilder.java:122)
		at org.apache.logging.log4j.core.config.AbstractConfiguration.createPluginObject(AbstractConfiguration.java:952)
		at org.apache.logging.log4j.core.config.AbstractConfiguration.createConfiguration(AbstractConfiguration.java:892)
		at org.apache.logging.log4j.core.config.AbstractConfiguration.createConfiguration(AbstractConfiguration.java:884)
		at org.apache.logging.log4j.core.config.AbstractConfiguration.doConfigure(AbstractConfiguration.java:508)
		at org.apache.logging.log4j.core.config.AbstractConfiguration.initialize(AbstractConfiguration.java:232)
		at org.apache.logging.log4j.core.config.AbstractConfiguration.start(AbstractConfiguration.java:244)
		at org.apache.logging.log4j.core.LoggerContext.setConfiguration(LoggerContext.java:545)
		at org.apache.logging.log4j.core.LoggerContext.start(LoggerContext.java:261)
		at org.apache.logging.log4j.core.impl.Log4jContextFactory.getContext(Log4jContextFactory.java:239)
		at org.apache.logging.log4j.core.config.Configurator.initialize(Configurator.java:159)
		at org.apache.logging.log4j.core.config.Configurator.initialize(Configurator.java:131)
		at org.apache.logging.log4j.core.config.Configurator.initialize(Configurator.java:101)
		at org.apache.logging.log4j.core.config.Configurator.initialize(Configurator.java:188)
		at org.apache.hadoop.hive.common.LogUtils.initHiveLog4jDefault(LogUtils.java:176)
		at org.apache.hadoop.hive.common.LogUtils.initHiveLog4jCommon(LogUtils.java:109)
		at org.apache.hadoop.hive.common.LogUtils.initHiveLog4jCommon(LogUtils.java:101)
		at org.apache.hadoop.hive.common.LogUtils.initHiveLog4j(LogUtils.java:84)
		at org.apache.hadoop.hive.cli.CliDriver.run(CliDriver.java:717)
		at org.apache.hadoop.hive.cli.CliDriver.main(CliDriver.java:701)
		at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
		at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
		at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
		at java.lang.reflect.Method.invoke(Method.java:498)
		at org.apache.hadoop.util.RunJar.run(RunJar.java:313)
		at org.apache.hadoop.util.RunJar.main(RunJar.java:227)
	
	2023-04-20 11:09:02,675 main ERROR Unable to invoke factory method in class class org.apache.logging.log4j.core.appender.RollingRandomAccessFileAppender for element RollingRandomAccessFile. java.lang.IllegalStateException: No factory method found for class org.apache.logging.log4j.core.appender.RollingRandomAccessFileAppender
		at org.apache.logging.log4j.core.config.plugins.util.PluginBuilder.findFactoryMethod(PluginBuilder.java:224)
		at org.apache.logging.log4j.core.config.plugins.util.PluginBuilder.build(PluginBuilder.java:130)
		at org.apache.logging.log4j.core.config.AbstractConfiguration.createPluginObject(AbstractConfiguration.java:952)
		at org.apache.logging.log4j.core.config.AbstractConfiguration.createConfiguration(AbstractConfiguration.java:892)
		at org.apache.logging.log4j.core.config.AbstractConfiguration.createConfiguration(AbstractConfiguration.java:884)
		at org.apache.logging.log4j.core.config.AbstractConfiguration.doConfigure(AbstractConfiguration.java:508)
		at org.apache.logging.log4j.core.config.AbstractConfiguration.initialize(AbstractConfiguration.java:232)
		at org.apache.logging.log4j.core.config.AbstractConfiguration.start(AbstractConfiguration.java:244)
		at org.apache.logging.log4j.core.LoggerContext.setConfiguration(LoggerContext.java:545)
		at org.apache.logging.log4j.core.LoggerContext.start(LoggerContext.java:261)
		at org.apache.logging.log4j.core.impl.Log4jContextFactory.getContext(Log4jContextFactory.java:239)
		at org.apache.logging.log4j.core.config.Configurator.initialize(Configurator.java:159)
		at org.apache.logging.log4j.core.config.Configurator.initialize(Configurator.java:131)
		at org.apache.logging.log4j.core.config.Configurator.initialize(Configurator.java:101)
		at org.apache.logging.log4j.core.config.Configurator.initialize(Configurator.java:188)
		at org.apache.hadoop.hive.common.LogUtils.initHiveLog4jDefault(LogUtils.java:176)
		at org.apache.hadoop.hive.common.LogUtils.initHiveLog4jCommon(LogUtils.java:109)
		at org.apache.hadoop.hive.common.LogUtils.initHiveLog4jCommon(LogUtils.java:101)
		at org.apache.hadoop.hive.common.LogUtils.initHiveLog4j(LogUtils.java:84)
		at org.apache.hadoop.hive.cli.CliDriver.run(CliDriver.java:717)
		at org.apache.hadoop.hive.cli.CliDriver.main(CliDriver.java:701)
		at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
		at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
		at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
		at java.lang.reflect.Method.invoke(Method.java:498)
		at org.apache.hadoop.util.RunJar.run(RunJar.java:313)
		at org.apache.hadoop.util.RunJar.main(RunJar.java:227)
	
	2023-04-20 11:09:02,676 main ERROR Null object returned for RollingRandomAccessFile in Appenders.
	2023-04-20 11:09:02,676 main ERROR Unable to locate appender "DRFA" for logger config "root"
[INFO] 2023-04-20 11:09:04.178  - [taskAppId=TASK-43-815-3377]:[217] - process has exited, execute path:/tmp/dolphinscheduler/exec/process/5/43/815/3377, processId:23896 ,exitStatusCode:0
[INFO] 2023-04-20 11:09:04.352  - [taskAppId=TASK-43-815-3377]:[129] -  -> 23/04/20 11:09:03 INFO session.SessionState: Created HDFS directory: /tmp/hive/dolphinscheduler/82a46c9d-de6c-45fb-ac3b-9c6bdeba6569
	23/04/20 11:09:03 INFO session.SessionState: Created local directory: /tmp/dolphinscheduler/82a46c9d-de6c-45fb-ac3b-9c6bdeba6569
	23/04/20 11:09:03 INFO session.SessionState: Created HDFS directory: /tmp/hive/dolphinscheduler/82a46c9d-de6c-45fb-ac3b-9c6bdeba6569/_tmp_space.db
	Exception in thread "main" java.lang.RuntimeException: java.io.IOException: Permission denied
		at org.apache.hadoop.hive.ql.session.SessionState.start(SessionState.java:582)
		at org.apache.hadoop.hive.ql.session.SessionState.beginStart(SessionState.java:540)
		at org.apache.hadoop.hive.cli.CliDriver.run(CliDriver.java:765)
		at org.apache.hadoop.hive.cli.CliDriver.main(CliDriver.java:701)
		at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
		at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
		at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
		at java.lang.reflect.Method.invoke(Method.java:498)
		at org.apache.hadoop.util.RunJar.run(RunJar.java:313)
		at org.apache.hadoop.util.RunJar.main(RunJar.java:227)
	Caused by: java.io.IOException: Permission denied
		at java.io.UnixFileSystem.createFileExclusively(Native Method)
		at java.io.File.createTempFile(File.java:2024)
		at org.apache.hadoop.hive.common.FileUtils.createTempFile(FileUtils.java:821)
		at org.apache.hadoop.hive.ql.session.SessionState.createTempFile(SessionState.java:960)
		at org.apache.hadoop.hive.ql.session.SessionState.start(SessionState.java:580)
		... 9 more

二、解决方法

每一个节点执行如下操作：
touch -p /tmp/dolphinscheduler/hive.log
groupadd supergroup
usermod -a -G supergroup dolphinscheduler
sudo -u hdfs hdfs dfsadmin -refreshUserToGroupsMappings
chown -R dolphinscheduler:dolphinscheduler /tmp/dolphinscheduler


 

潘永青
关注
spark连接hive（spark-shell和eclipse两种方式）
主要分享大数据相关的知识，如Spark、Hudi
05-09 1万+
转载请务必注明原创地址为：http://dongkelun.com/2018/03/25/sparkHive/ 1、在服务器（虚拟机）spark-shell连接hive 1.1 将hive-site.xml拷贝到spark/conf里 cp /opt/apache-hive-2.3.2-bin/conf/hive-site.xml /opt/spark-2.2.1-bin-hadoo...............
dolphinscheduler 调用shell脚本执行sql
超的专栏
12-28 2016
dolphionscheduler 调用 shell 脚本 执行 sql
dolphinscheduler Permission denied
gamblerofdestinyR14的博客
12-17 2098
dolphinscheduler python Permission denied
DolphinScheduler应用实战笔记
最新发布
qq_40623672的博客
09-10 1122
DolphinScheduler（后文简称DS）在项目中的应用实战笔记，包含DS执行SQL或存储过程、DS调用DataX同步数据、DS调用HTTP接口
DolphinScheduler执行shell脚本报dolphinscheduler_env.sh权限不够
ooyyaa6561的博客
12-03 2979
dolphinscheduler_env.sh权限不够
海豚启动报错,提示日志文件夹无权限
weixin_43025027的博客
02-23 2600
海豚启动报错 一、出现的问题 监控中心worker节点和master节点挂掉，Zookeeper 管理中节点通信正常。 重新启动提示 根据报错，下载日志文件 sz /opt/module/dolphinscheduler/logs/dolphinscheduler-master-server-hadoop002.out 主要报错信息为： Logging system failed to initialize using configuration from ‘classpath:logback-mast
dolphinscheduler之hivecli 任务
shenyunsese的专栏
04-11 1188
dolphinscheduler的hivecli任务是专门执行hivesql的任务类型。其中子类型分为FROM_SCRIPT和FROM_FILE。执行的脚本可以直接在文本框中编写执行的底层采用-e参数执行执行的脚本可以在线下编辑好，然后在[]->[]中上传。在hivecli节点中资源参数选择上传的资源sql文件即可。执行的底层逻辑采用-f参数执行。
Linux执行Shell脚本报错Permission denied
wufabao的博客
03-18 6447
过程 昨天在Linux执行Shell脚本的时候，把脚本执行结果写入到指定路径下的日志文件，然后报错 sh /home/mysql/sql/test/test.sh param,param2,param3 >> $logsPath/testfile.log 2>&1 -bash: /testfile.log: Permission denied 原因 因为这个脚本是从其他脚本中摘出来的一条语句，写入日志使用了变量logsPath,而单独摘出来，该变量没有定义，所以报错 解决方案 把
spark读hive没有权限异常Permission denied
lyd882的博客
03-08 2640
sparkSQL读取hive库或表时提示没有权限异常 spark@h1:~$ spark-shell 20/03/08 13:29:35 WARN NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable Setti...
Flink-1.11使用sql-client连接Hive-2.1.1
猫不夜行的博客
01-16 5763
Flink-1.11使用sql-client连接Hive 写在前面： Sql-client连接Hive是通过客户端的形式读写hive、测试相关语句的便捷方式，也是Flink搭建后测试操作Hive的第一步。前面因为版本问题一直没有进展，Flink在1.9.1版本中只面向Hive-1.2.1、Hive-2.3.4，而在不改变Hive版本的情况下，其他实现方式较为繁琐。而Flink-1.11版本中，已经...
Hive报错：Hive JDBC：Permission denied: user=anonymous, access=EXECUTE, inode=”/tmp”
九师兄
11-18 1667
今天使用JDBC来操作Hive时，首先启动了hive远程服务模式：hiveserver2 &(表示后台运行)，然后到eclipse中运行程序时出现错误： Permission denied: user=anonymous, access=EXECUTE, inode=”/tmp” 解决办法：报错内容提示hive没有/tmp目录的权限，赋予权限即可： hdfs dfs -chmod 777 ...
安装hive出现的错误“hive: Permission denied”
qq_417174491的专栏
12-18 3539
今天试着去安装hive Hive的安装 1:  vi /etc/profile 在末尾加上exportHIVE_HOME=/usr/local/hive          export HOVE_CONF_DIR=/usr/local/hive/conf export PATH=$PATH:$HIVE_HOME/bin export HIVE_LIB=$HOVE_HOME/lib
关于dolphinscheduler2.0.0执行shell任务报租户不存在错误，以及选择正确租户后，租户在程序的执行中无读写权限问题解决
qq_37001101的博客
12-01 2534
关于dolphinscheduler2.0.0执行shell任务报租户不存在错误，以及选择正确租户后，租户在程序的执行中无读写权限问题解决 首先针对建立租户的时候，租户名称一定是服务器已经有的用户，现阶段建立服务器不存在的用户时候执行任务会报租户不存在，还没有深入研究源码。 其次是执行shell代码，出现Permission denied错误，出现这个问题的原因是普通租户没有执行dolphinscheduler用户的文件的权限 dolphinscheduler用户创建如下执行脚本 /tmp/dol.
执行shell脚本，提示permission denied:shellname.sh
青爷
09-09 5245
在某文件中刚创建编辑了shell脚本文件，利用命令行运行shell脚本文件，运行不成功，并提示permission denied:shellname.sh 造成此结果的原因就是，是因为该shell脚本不是可执行程序，通过chmod命令 ...
执行shell脚本报错： Permission denied
djfiew7234的博客
04-22 569
解决办法： chomd 777 test.sh 转载于:https://www.cnblogs.com/fatfatdachao/p/4446580.html
PermissionError: [Errno 13] Permission denied
热门推荐
weixin_45963617的博客
07-26 2万+
错误 PermissionError: [Errno 13] Permission denied 错误原因 权限错误：[errno 13]权限被拒绝： 错误产生的原因是文件无法打开，可能产生的原因是文件找不到，或者被占用，或者无权限访问，或者打开的不是文件，而是一个目录。 解决方案 解决方案如下： 1.检查对应路径下的文件是否存在，且被占用。如果文件不存在，就找到对应文件即可；如果文件存在，被占用，将占用程序暂时关闭。 2.修改cmd的权限，以管理员身份运行。 3.检查是否是打开了文件夹。 ...
使用docker快速部署dolphinscheduler时二进制文件执行无权限问题
qq_20661157的博客
12-22 757
使用docker快速部署dolphinscheduler时，二进制文件执行无权限问题
sqlite: permission denied 解决办法
帅气又努力的李
01-15 2429
用手机练习《第一行代码》的SQLite数据库使用时，在adb shell中查看数据库时出现permission denied权限被拒绝。 出现这个的原因是没有root权限。 解决办法 使用run-as语句进入包中，再用命令查看数据库 C:\Users\11150>adb shell HWDUK:/ $ run-as com.example.databasetest HWDUK:/data...
linux shell permission denied,Linux系统出现permission denied问题解决措施
weixin_35266799的博客
05-17 7306
最近有用户在操作Linux系统是遇到permission denied问题，这也是比较常见的故障问题，下面给大家整理一种常规的解决方法。1、以ubuntuu系统为例，比如建立一个test.sh的脚本文件，脚本代码如下：#! /bin/bashecho Hello,world!代码功能实现的是：输出字符Hello,world!2、首先，在终端(Terminal)切换到sh所在目录，并运行程序。如下所...
-sh: ./: Permission denied
08-17
当你在终端中尝试执行某个命令，比如"./"，并且看到提示"Permission denied"时，这通常表示当前用户没有足够的权限去执行该操作。`.`在这个上下文中一般代表当前目录，可能是由于文件或目录的所有权、权限设置不当，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

潘永青

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值