oozie 调度shell权限问题解决（非目录问题）

最新推荐文章于 2021-06-03 20:13:00 发布
最新推荐文章于 2021-06-03 20:13:00 发布
阅读量2.3k 收藏
点赞数
分类专栏： oozie
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/MR_REN019235/article/details/102629545
版权 
2019-10-18 16:58:26,303  INFO ActionStartXCommand:520 - SERVER[bigdata.t02.58btc.com] USER[bigdata] GROUP[-] TOKEN[] APP[oozieTest] JOB[0000004-190919182638476-oozie-oozi-W] ACTION[0000004-190919182638476-oozie-oozi-W@:start:] Start action [0000004-190919182638476-oozie-oozi-W@:start:] with user-retry state : userRetryCount [0], userRetryMax [0], userRetryInterval [10]
2019-10-18 16:58:26,304  INFO ActionStartXCommand:520 - SERVER[bigdata.t02.58btc.com] USER[bigdata] GROUP[-] TOKEN[] APP[oozieTest] JOB[0000004-190919182638476-oozie-oozi-W] ACTION[0000004-190919182638476-oozie-oozi-W@:start:] [***0000004-190919182638476-oozie-oozi-W@:start:***]Action status=DONE
2019-10-18 16:58:26,304  INFO ActionStartXCommand:520 - SERVER[bigdata.t02.58btc.com] USER[bigdata] GROUP[-] TOKEN[] APP[oozieTest] JOB[0000004-190919182638476-oozie-oozi-W] ACTION[0000004-190919182638476-oozie-oozi-W@:start:] [***0000004-190919182638476-oozie-oozi-W@:start:***]Action updated in DB!
2019-10-18 16:58:26,372  INFO WorkflowNotificationXCommand:520 - SERVER[bigdata.t02.58btc.com] USER[-] GROUP[-] TOKEN[-] APP[-] JOB[0000004-190919182638476-oozie-oozi-W] ACTION[0000004-190919182638476-oozie-oozi-W@:start:] No Notification URL is defined. Therefore nothing to notify for job 0000004-190919182638476-oozie-oozi-W@:start:
2019-10-18 16:58:26,372  INFO WorkflowNotificationXCommand:520 - SERVER[bigdata.t02.58btc.com] USER[-] GROUP[-] TOKEN[-] APP[-] JOB[0000004-190919182638476-oozie-oozi-W] ACTION[] No Notification URL is defined. Therefore nothing to notify for job 0000004-190919182638476-oozie-oozi-W
2019-10-18 16:58:26,393  INFO ActionStartXCommand:520 - SERVER[bigdata.
最低0.47元/天 解锁文章
MR_REN019235
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Hue提交Job异常报错
weixin_43370502的博客
10-26 1823
2018-09-17 16:32:13,686 INFO ActionStartXCommand:520 - SERVER[172.16.5.200] USER[hadoop] GROUP[-] TOKEN[] APP[My Workflow] JOB[0000004-180917163013421-oozie-hado-W] ACTION[0000004-180917163013421-ooz...
cdh的hue上oozie启动报错,Cannot allocate containers as requested resource is greater than maximum allowed
前方的路在刚开始
08-01 1238
我感觉很狗屁，于是我加大oozie的资源为2G，然后把yarn容器资源调成2.5G(在oozie和yarn的配置中）网上说是正常的，在hue中是看不到原因。需要获取他的外部地址，去oozie页面看。这是一个日志，相当于没有日志，只要是出错了，都会导致这种情况。这里我们修改oozie的默认值，将原来的2G改成了500MB。原因是，oozie启动资源默认，需要2GB。1.修改yarn资源调度的内存。2.修改oozie的默认值。跳转进hadoop，看日志。成功，没有报那个错误了。......
Apache Oozie实战
beishanyingluo的博客
04-14 638
oozie安装好了之后，需要测试oozie的功能是否完整好使，官方已经给自带带了各种测试案例，可以通过官方提供的各种案例来学习oozie的使用，后续也可以把这些案例作为模板在企业实际中使用。 先把官方提供的各种案例给解压出来： cd /export/servers/oozie4.1.0 tar -zxvf oozie-examples.tar.gz 创建统一的工作目录，便于集中管理oozie。...
Hue中使用oozie调用shell启动sqoop报错
love_lixr的博客
12-01 1278
2020-12-01 14:23:01,841 INFO org.apache.oozie.command.wf.ActionStartXCommand: SERVER[cdh-dev5] USER[itview] GROUP[-] TOKEN[] APP[SqoopTest] JOB[0000000-201201142033410-oozie-oozi-W] ACTION[0000000-201201142033410-oozie-oozi-W@shell-2323] [***0000000-201201
oozie-ssh
Niki20034655的博客
11-20 802
oozie使用ssh远程执行shell 配置文件 job.properties # 集群参数 #nameNode地址 nameNode=hdfs://node1:8020 #resourceManager地址 jobTracker=node1:8032 #oozie队列 这个属性一般不做修改 queueName=default # oozie #coordinator.xml在hdf...
oozie调度脚本.docx
02-21
标题中的"oozie调度脚本.docx"指出我们要讨论的核心技术是Apache Oozie，一个在Hadoop生态系统中用于管理工作流的工具。Oozie提供了对多种Hadoop任务（如MapReduce、HDFS操作、Shell命令、Hive查询等）的集中式、...
oozie-4.3.0
10-25
1. **工作流管理系统:** Oozie 是一个开源的工作流调度系统，它能够管理和调度 Hadoop 生态系统中的各种作业，包括 MapReduce、Pig、Hive、Sqoop、Java 可执行程序、shell 脚本等。它为大数据处理提供了统一的控制层...
oozie-4.2.0
05-06
Oozie 支持多种类型的作业，包括Hadoop MapReduce、Pig、Hive、Sqoop，以及Java和Shell命令。在4.2.0中，对这些作业类型的支持更加完善，增强了与Hadoop生态系统的兼容性。 Oozie 提供了一个Web用户界面，便于用户...
oozie配置文件
04-23
3. **oozie-env.sh**: 这是一个shell脚本，用于设置Oozie服务器的环境变量，如JAVA_HOME、OOZIE_HOME和系统路径。这是启动Oozie服务前必须配置的关键文件，确保Oozie可以找到其依赖的Java环境和其他库。 4. **oozie...
Hive编程指南+HIVE从入门到精通+Hive高级编程+Apache Oozie
11-15
4. **错误处理与调试**: 识别并解决查询中的常见问题，理解Hive日志以进行故障排除。 5. **实时查询**: 使用Hive on Tez或Hive on Spark实现更快的响应时间。 **Hive高级编程** 高级编程涉及更复杂的Hive使用场景和...
oozie常见错误问题
weixin_34019929的博客
01-16 652
 1.  Error: HTTP error code: 404 : Not Found 原因： 在环境变量中配置的OOZIE_URL有问题配置成了 export OOZIE_URL=http://dwtest-name1:11000 正确配置应该是   export OOZIE_URL=http://dwtest-name1:11000/oozie   2. Error, ja...
oozie 笔记Workflow Notifications
CSLDBLYDX的专栏
07-28 1056
可以配置 URL ,通过Http GET 获取job的通知 作业start end，状态改变都会创建一个通知，同伙URL 可获取 oozie.wf.workflow.notification.proxy可用来配置为通知为http，或者socket proxy     格式proxyHostname:port or proxyType@proxyHostname:port     默认使
oozie重要配置详解（生产）
12-23 6999
1、oozie调度时间更改 linux： 查看时间：date -R（获得是格林尼治时间）+0800：代表东八区 -400：代表西四区 GMT：格林尼治时间oozie-site.xml oozie.processing.timezone ==== GMT+0800 2、定时调度频次大小 oozie.service.coord.check.maximum.frequency
关于oozie执行sqoop时报错权限不足异常
jet_xule的博客
01-15 510
执行程序时一直Kill状态，查询日志报权限不够的问题，去对应分发的节点查看，发现启动hive的时候也会报权限不足的问题 原因： 在hive的配置文件定义了/opt/local/hive/iotmp文件夹，使用root账号创建了该文件夹，运行hive时使用的是hadoop账号，所以导致该问题。 解决方法： 先查询对应hive目录下的iotmp文件的权限 更改权限chgrp -R hadoop io...
OOZIE系统遇到的各种问题解决
flash胜龙的博客
04-21 9907
这玩意儿装起来真是呕心沥血。 网上找不到编译后的文件，下载下来是源码，大小只有2.27 MB……编译完变成2GB了。 得装mysql 得装maven（这个尤其重要） 得配置hadoop代理等等 /etc/hosts里面的问题尤其无语： 一定记得要进hadoop-master2-namenode-ubuntu.log查看日志，会发现很多exception。这回是非常恶心的问题，装oozie的时候
Notification使用常见问题（坑）
i_SamWong的博客
06-03 3462
最近在做Notification遇到了挺多问题，查了不少资料，也参考了网上一些博客，对这些问题做了总结 文章目录1.动态设置开启或关闭通知声音（震动、铃声等）误区一 调用NotificationChannel.setSound()方法来修改误区二 deleteNotificationChannel()2.设置点击自动清除和不可滑动删除类型的通知3.取消Notification的方式 1.动态设置开启或关闭通知声音（震动、铃声等） Android O 引入了 通知渠道（NotificationChanne.
oozie运行shell脚本
最新发布
03-16
Oozie可以通过Shell Action来运行Shell脚本。在Oozie的workflow.xml文件中，可以使用Shell Action来定义要运行的Shell脚本。例如： ``` <action name="run-shell-script"> <shell xmlns="uri:oozie:shell-action:.3"> <job-tracker>${jobTracker}</job-tracker> <name-node>${nameNode}</name-node> <configuration> <property> <name>mapred.job.queue.name</name> <value>${queueName}</value> </property> </configuration> <exec>my-shell-script.sh</exec> <argument>arg1</argument> <argument>arg2</argument> </shell> <ok to="end"/> <error to="fail"/> </action> ``` 在上面的例子中，定义了一个名为“run-shell-script”的Shell Action，它将运行一个名为“my-shell-script.sh”的Shell脚本，并传递两个参数“arg1”和“arg2”。在Shell Action中，还可以指定要使用的Job Tracker、Name Node和其他配置属性。当Shell脚本运行成功时，将转移到“end”节点，否则将转移到“fail”节点。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值