OOZIE使用问题

最新推荐文章于 2023-02-20 16:19:25 发布
最新推荐文章于 2023-02-20 16:19:25 发布
阅读量927 收藏
点赞数 1
分类专栏： 大数据 文章标签： oozie
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Ntozot/article/details/89240465
版权
这篇博客主要讨论了两个使用OOZIE时遇到的问题。问题一是由于将非Linux格式的脚本写入HDFS导致OOZIE执行错误，解决方法是在写入前用Java程序替换换行符。问题二是shell脚本提交的HQL-MR作业信息量超过OOZIE限制，需要调整作业提交方式。
摘要由CSDN通过智能技术生成

问题一

Failing Oozie Launcher, Main class [org.apache.oozie.action.hadoop.ShellMain], main() threw exception, Cannot run program "shell.sh" (in directory "/yarn/nm/usercache/admin/appcache/application_1555033479721_0016/container_e55_1555033479721_0016_01_000002"): error=2, No such file or directory
java.io.IOException: Cannot run program "shell.sh" (in directory "/yarn/nm/usercache/admin/appcache/application_1555033479721_0016/container_e55_1555033479721_0016_01_000002"): error=2, No such file or directory
	at java.lang.ProcessBuilder.start(ProcessBuilder.java:1048)
	at org.apache.oozie.action.hadoop.ShellMain.execute(ShellMain.java:111)
	at org.apache.oozie.action.hadoop.ShellMain.run(ShellMain.java:70)
	at org.apache.oozie.action.hadoop.LauncherMain.run(LauncherMain.java:81)
	at org.apache.oozie.action.hadoop.ShellMain.main(ShellMain.java:59)
	at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
	at s
最低0.47元/天 解锁文章
Mrgray
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Oozie调度Pig job常见的问题及分析
张贵宾的技术专栏
07-02 4572
Oozie调度Pig job常见的问题及分析 guibin.beijing@gmail.com 1.  Failing Oozie Launcher, Main class [org.apache.oozie.action.hadoop.PigMain], exit code [7] 这个错误一开始让人一头雾水！查阅了"Programming Pig. 2011 version"才知道exi
Oozie的使用
01-20
【Oozie的使用】 Apache Oozie 是一个工作流调度系统，用于管理Apache Hadoop集群上的工作流作业。Oozie与Hadoop生态系统紧密集成，支持调度Hadoop的MapReduce、Pig、Hive、Sqoop等任务，以及Shell命令和Java程序。...
Failing Oozie Launcher, Main class [org.apache.oozie.action.hadoop.ShellMain], exit code [1]
Stay hungry, Stay foolish
04-13 1万+
转：http://stackoverflow.com/questions/19323611/simple-oozie-shell-action-from-rest-api-fails Simple oozie shell action from REST API fails up vote0down votefavorite
oozie on spark2:Failing Oozie Launcher, main() threw exception, null
Nobigo
08-22 947
问题详情 iling Oozie Launcher, Main class [org.apache.oozie.action.hadoop.SparkMain], main() threw exception, null java.lang.NullPointerException at scala.collection.mutable.ArrayOps$ofRef$.newBu...
oozie报Failing Oozie Launcher, output.properties data exceeds its limit [2048]
weixin_45902573的博客
02-20 1942
oozie调度任务报Failing Oozie Launcher, output.properties data exceeds its limit [2048]
oozie 工作流调试及报错
a45691316的博客
09-19 563
oozie 工作流调试及报错 1. oozie 调用sql文件的workflow 错误汇总： 1）hive2server密码错误。（有时设置可以无密码，有时需要登陆密码，有时是单独的hive2server密码） Connecting to jdbc:hive2...
关于在在hue当中执行shell脚本使用oozie调度，一直出现laucher异常退出。
weixin_30401605的博客
09-19 1112
Failing Oozie Launcher, Main class [org.apache.oozie.action.hadoop.ShellMain], exit code [1] Oozie Launcher failed, finishing Hadoop job gracefully Oozie Launcher, uploading action data to HDFS ...
oozie使用整理
09-21
此文档主要对oozie的使用方法，基本内容做了一次介绍。
oozie介绍及使用详解
02-10
3. **上传和验证工作流**：将工作流XML文件和相关的作业资源（如Hive脚本、MapReduce JAR文件）上传到HDFS，并使用Oozie客户端工具进行验证。 4. **提交和启动工作流**：通过Oozie客户端提交工作流，并启动作业。 5....
oozie工具使用
10-30
oozie工具使用
oozie oozie
08-21
在Hadoop生态系统中，Oozie是一个工作流调度系统，用于管理Hadoop作业。它允许用户定义、调度和...记得定期备份数据库，以防止数据丢失，并保持Oozie的版本与Hadoop和其他相关组件的版本兼容，以避免潜在的兼容性问题。
oozie：java.lang.NumberFormatException: For input string: “30s“
IT嫩小白
08-25 1345
oozie启动报错如下： >>> Invoking Main class now >>> Failing Oozie Launcher, IO error org.apache.oozie.action.hadoop.LauncherException: IO error at org.apache.oozie.action.hadoop.LauncherAM.setRecoveryId(LauncherAM.java:487) at org.apache.oozi
oozie server系统时钟偏差导致sqoop报错
men子烦高的烂笔头
06-03 1836
使用oozie通过sqoop导数报错如下 Failing Oozie Launcher, Main class [org.apache.oozie.action.hadoop.SqoopMain], main() threw exception, begin > end in range (begin, end): (1464673410428, 1464673380508)
OOZIE调度shell脚本引起可能存在的错误问题。
weixin_43230619的博客
07-15 644
遇到的问题一 1，oozie调度shell脚本，当出现这个错误信息–引发的问题有（我单独执行shell脚本（执行sqoop命令用了sudo -u hive），即使没有表都可以识别–hive-overwrite会自动创建表出来，但是我用oozie调度的shell脚本(第一不支持sudo -u hive参数，那就去掉，第二引入workflow。 2，xml引入HADOOP_USER_NAME=hdfs)，没表就不会识别–hive-overwrite参数，还是表找不到） Launcher exception: C
Oozie中遇到的问题
weixin_43845047的博客
06-29 135
Caused by: java.lang.UnsatisfiedLinkError: /opt/module/jdk1.8.0_144/jre/lib/amd64/libawt_xawt.so: libXrender.so.1: cannot open shared object file: No such file or directory 截图 解决方案 yum install libXrender
oozie执行报错日志
weixin_34064653的博客
06-16 539
Failing Oozie Launcher, Main class [org.apache.oozie.action.hadoop.ShellMain], main() threw exception, Cannot run program "p1.sh" (in directory "/opt/module/cdh/hadoop-2.5.0-cdh5.3.6/data/tmp/nm-loc...
troubleshooting-执行导数shell脚本抛异常error=2, No such file or directory
dianjun2454的博客
09-23 494
Cannot run program "order_log.sh" (in directory "/data/yarn/nm/usercache/chenweidong/appcache/application_1536202736675_0048/container_1536202736675_0048_01_000001"): error=2, No such file or dir...
oozie启动shell任务的一个报错
diaoqiaorong8429的博客
09-19 362
　　帮组里用oozie启动shell的时候，发生了一个报错。 2019-09-19 14:24:43,647 WARN ActionStartXCommand:523 - SERVER[xxxx] USER[xxxx] GROUP[-] TOKEN[] APP[xxxx] JOB[0015122-190917141609001-oozie-hado-W] ACTION[0015122...
【报错】FileNotFoundError: [Errno 2] No such file or directory
热门推荐
panbaoran913的博客
05-04 9万+
FileNotFoundError: [Errno 2] No such file or directory: 翻译：FileNotFoundError:[Errno 2]没有这样的文件或目录 原因：文件路径错误 目录类型一：相对路径导致的错误类型二：路径中的文件夹有误类型三：保存文件的时候报错 类型一：相对路径导致的错误 allnodes.npy的位置，如下图 正常运行的图 python工作路径改变 原来的代码不改变，则报错 类型二：路径中的文件夹有误 一般是没有建立文件夹，或者手写路径
python使用oozie
最新发布
06-13
Oozie是一个基于Web的工作流引擎，可以用来协调Hadoop作业和其他计算资源。使用Python编写的Hadoop作业可以通过Oozie来启动和调度。 下面是使用Python编写的Oozie工作流的基本步骤： 1. 编写Python脚本：首先需要编写Python脚本来实现Hadoop作业的逻辑。 2. 上传脚本到HDFS：将Python脚本上传到Hadoop分布式文件系统（HDFS）中。 3. 编写工作流XML文件：使用Oozie的工作流定义语言（WDL）编写一个XML文件来定义工作流。 4. 配置工作流属性：在XML文件中设置工作流的属性，如输入输出路径、命令行参数、作业运行时间等。 5. 提交工作流：将工作流XML文件上传到HDFS，并使用Oozie的命令行工具提交工作流。 6. 监控工作流运行：可以使用Oozie的Web控制台或命令行工具来监控工作流的运行状态和日志信息。 需要注意的是，Oozie支持多种Hadoop作业类型，包括MapReduce、Pig、Hive、Sqoop等，但是对于Python作业，需要使用Shell action来执行Python脚本。因此，在编写工作流XML文件时，需要将Shell action与Python脚本进行关联。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值