Oozie启动job状态SUSPENDED报错Inv…

最新推荐文章于 2021-06-24 21:33:42 发布
最新推荐文章于 2021-06-24 21:33:42 发布
阅读量2.4k 收藏 1
点赞数
分类专栏： 【C、Java与网络编程】
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u010770993/article/details/70312479
版权
从已经成功连接的机子考过来的一个编译得比较靠谱的oozie 4.3.0，运行一个样例程序，结果报错：

2017-02-23 18:57:48,667  WARN ActionStartXCommand:523 - SERVER[bigmaster] USER[hadoop] GROUP[-] TOKEN[] APP[SparkFileCopy] JOB[0000000-170223185712566-oozie-hado-W] ACTION[0000000-170223185712566-oozie-hado-W@spark-node] Error starting action [spark-node]. ErrorType [TRANSIENT], ErrorCode [JA009], Message [JA009: Failed on local exception: com.google.protobuf.InvalidProtocolBufferException: Protocol message end-group tag did not match expected tag.; Host Details : local host is: "bigmaster/192.168.136.134"; destination host is: "bigmaster":9001; ]
org.apache.oozie.action.ActionExecutorException: JA009:
最低0.47元/天 解锁文章
flash胜龙
关注
专栏目录
oozie的job一直在running或者SUSPENDED,任务单独执行不报错
weixin_43681796的博客
08-03 607
环境： 自己刚搭建完Oozie之后：hadoop2.6.5 和apache的oozie3.4.1 问题： 运行案例中的mapreduce任务，和sell任务都会一直在runing，过很长时间就会SUSPENDED [root@bd1601 mapreduce]# oozie job -oozie http://bd1601:11000/oozie -config /opt/bdp/oozie/oozie-4.3.1/examples/apps/shell/job.properties -run SLF4J
oozie错误：job一直在running或者SUSPENDED，但是就是不执行。任务单独执行是可以的。
小蚯蚓的博客
12-06 3894
1.问题描述 一个简单的mapreduce的wordcount任务，单独使用yarn调用时没有任何问题，可以跑出来。但是，放入yarn的时候，就会出现问题。一直时Running的状态，而且hadoop对应目录下也没有输出结果的目录，很是头痛。 2.原因： 经过百般查找和无限次尝试，发现是job.properties的jobTracker属性端口配置错误导致。因为Oozie去调用Ha...
Oozie基础小结
02-16 5451
Oozie是一个工作流引擎服务器，用于运行hadoop map/reduce和hive等任务工作流。 同时Oozie还是一个java web程序，运行在java servlet容器中，如tomcat中。 Oozie以action为基本单位，可以将多个action构成一个DAG图的模式运行。 Oozie工作流通过HPDL（一种通过XML自定义处理的语言）来构造Oozie工作流。 一个oozi
OOZIE
greahuang的专栏
02-05 1707
oozie
oozie oozie
08-21
如果一切配置无误，Oozie应该能够正常运行而不会报错。 6. **故障排查**：如果仍然遇到“Table ‘oozie.VALIDATE_CONN’ doesn’t exist”错误，可能的原因有：数据库连接问题、SQL脚本未正确执行、配置文件中的...
Oozie出错任务日志追踪思路技巧
fancychuan的博客
07-04 1386
几个概念的关系： workflow > application > job > task > attempt 【sqoop推送失败排查案例】 任务地址： http://hadoop01:8888/oozie/list_oozie_workflow/1808668-190626194816577-oozie-oozi-W/ =============...
Oozie Spark on YARN requirement failed
fansy1990的专栏
12-24 4501
软件环境：CDH：5.7.3；Oozie：4.1.0-CDH5.7.3 ； Spark：1.6.0-cdh5.7.3-hadoop2.6.0-cdh5.7.3 ； Hadoop：hadoop2.6.0-cdh5.7.3（HDFS 采用HA方式）；问题描述：在使用CDH5.7.3版本的时候，发起一个Oozie工作流，该工作流使用Spark On YARN的方式提交一个Spark程序，但是在Oozie
oozie配置mysql：表结构详解
07-19
oozie配置mysql所需表结构。Apache Oozie是用于Hadoop平台的一种工作流调度引擎。
oozie 提交作业时因请求资源不足而suspend的解决方法
weixin_34014555的博客
10-18 424
1，环境情况 安装的CDH5.4，使用CM来管理各个组件（Yarn、Spark、HDFS、Hive、Oozie……）。 2，在shell命令下提交Oozie作业 ①sudo –u hdfs hadoop fs –mkdir /user/cdhfive 创建一个专门的用户目录，这里为cdhfive ②sudo –u hdfs hadoop –ch...
oozie启动shell任务的一个报错
diaoqiaorong8429的博客
09-19 369
　　帮组里用oozie启动shell的时候，发生了一个报错。 2019-09-19 14:24:43,647 WARN ActionStartXCommand:523 - SERVER[xxxx] USER[xxxx] GROUP[-] TOKEN[] APP[xxxx] JOB[0015122-190917141609001-oozie-hado-W] ACTION[0015122...
java oozie任务状态_Oozie工作流分析
weixin_33132819的博客
02-26 627
我们在实际的生成操作中经常需要将一些任务在晚上开启进行定时执行，或者多个作业，例如hive,mapreduce,shell等任务的组合调用。我们可以使用linux的contab + spervisor + inotify-tool进行任务的配值，但是操作起来麻烦，而且没有可视化的参数返回界面。也不能保证任务的可靠性。在hadoop技术栈中我们可以使用oozie做为任务的调度与定时触发的工具。可以方...
oozie 客户端常用命令
weixin_34217773的博客
08-20 300
1.提交作业，作业进入PREP状态 oozie job -oozie http://localhost:11000/oozie -config job.properties -submit job: 14-20090525161321-oozie-joe 2.执行已提交的作业 oozie job -oozie http://localhost:110...
Oozie入门笔记
lonelymanontheway的博客
06-24 334
概述
oozie 调度异常 JA009: Filesystem closed
weixin_34249367的博客
01-12 166
最近几天发现oozie调度的任务经常会被挂起(SUSPENDED), 之前也存在被挂起的情况，但频率很低， 一周也就一两次， 出现问题时由监控脚本重跑，也不影响正常业务，但最近一两天被挂起的非常频繁，甚至一天有3，4个小时的任务被挂起， 影响正常业务. 个人猜测跟hadoop集群状态(稳定性)有一定关系，但咨询hadoop运维人员后得知集群近几天并未做...
Oozie工作流程定义详解
qq_16629653的专栏
01-08 516
Oozie工作流程定义详解  2014-03-04 19:21:02  Yanjun Oozie工作流程定义是一个DAG（Directed Acyclical Graphs）图，它由控制流节点（Control Flow Nodes）或动作节点（Action Nodes）组成，各个节点又是通过表征转移的箭线（transitions arrows）互相连通。对于工作流一般对应存在流程
oozie杀死僵死任务流
记录点滴
08-09 3319
起初同事提交任务后，在后台把脚本删掉，导致workflows僵死 尝试 1，重启oozie 因数据都是写DB的，不能清除数据，只是尝试重启。 2，利用命令杀死job   3，到oozieDB更新job status 任务被kill成功...
oozie的job.properties怎么写当天的日期字符串传递给workflow的hive Action
最新发布
09-14
Oozie是一个用于管理Hadoop作业的工作流调度系统，它可以安排一系列的作业，并且可以按照作业的依赖关系顺序执行。在Oozie的工作流中，`job.properties`文件用于定义作业执行时所需要的属性。如果你想在`job.properties`中设置当天的日期字符串，并将这个值传递给工作流中的Hive Action，你可以按照以下步骤操作： 1. 在你的`job.properties`文件中使用Oozie的日期和时间函数来获取当前日期。这通常涉及到使用Unix时间戳格式或者其他日期格式来设置一个变量。 2. 例如，如果你想获取当前日期并传递给Hive Action作为查询的一部分，你可以使用如下代码： ``` today=$(date +%Y-%m-%d) ``` 这里`$(date +%Y-%m-%d)`是Unix/Linux命令行中的日期命令，它会根据当前系统时间生成一个格式为“YYYY-MM-DD”的日期字符串。这个命令执行的结果会被赋值给变量`today`。 3. 在`job.properties`文件中设置该变量： ``` date.today=${today} ``` 然后，在Hive Action的查询中，你可以使用`${date.today}`来引用这个变量的值。 请注意，具体的实现可能依赖于你的Hive查询以及你的Oozie版本。如果是在较新的Oozie版本中，你可能需要使用Oozie的内置函数来获取日期，而不是使用shell命令。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值