Oozie启动job状态SUSPENDED报错Inv…

最新推荐文章于 2021-02-26 00:17:15 发布
最新推荐文章于 2021-02-26 00:17:15 发布
阅读量2.4k 收藏 1
点赞数
分类专栏： 【C、Java与网络编程】
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u010770993/article/details/70312479
版权
从已经成功连接的机子考过来的一个编译得比较靠谱的oozie 4.3.0，运行一个样例程序，结果报错：

2017-02-23 18:57:48,667  WARN ActionStartXCommand:523 - SERVER[bigmaster] USER[hadoop] GROUP[-] TOKEN[] APP[SparkFileCopy] JOB[0000000-170223185712566-oozie-hado-W] ACTION[0000000-170223185712566-oozie-hado-W@spark-node] Error starting action [spark-node]. ErrorType [TRANSIENT], ErrorCode [JA009], Message [JA009: Failed on local exception: com.google.protobuf.InvalidProtocolBufferException: Protocol message end-group tag did not match expected tag.; Host Details : local host is: "bigmaster/192.168.136.134"; destination host is: "bigmaster":9001; ]
org.apache.oozie.action.ActionExecutorException: JA009:
最低0.47元/天 解锁文章
flash胜龙
关注
专栏目录
oozie错误：job一直在running或者SUSPENDED，但是就是不执行。任务单独执行是可以的。
小蚯蚓的博客
12-06 3894
1.问题描述 一个简单的mapreduce的wordcount任务，单独使用yarn调用时没有任何问题，可以跑出来。但是，放入yarn的时候，就会出现问题。一直时Running的状态，而且hadoop对应目录下也没有输出结果的目录，很是头痛。 2.原因： 经过百般查找和无限次尝试，发现是job.properties的jobTracker属性端口配置错误导致。因为Oozie去调用Ha...
oozie的job一直在running或者SUSPENDED,任务单独执行不报错
weixin_43681796的博客
08-03 606
环境： 自己刚搭建完Oozie之后：hadoop2.6.5 和apache的oozie3.4.1 问题： 运行案例中的mapreduce任务，和sell任务都会一直在runing，过很长时间就会SUSPENDED [root@bd1601 mapreduce]# oozie job -oozie http://bd1601:11000/oozie -config /opt/bdp/oozie/oozie-4.3.1/examples/apps/shell/job.properties -run SLF4J
Oozie基础小结
02-16 5451
Oozie是一个工作流引擎服务器，用于运行hadoop map/reduce和hive等任务工作流。 同时Oozie还是一个java web程序，运行在java servlet容器中，如tomcat中。 Oozie以action为基本单位，可以将多个action构成一个DAG图的模式运行。 Oozie工作流通过HPDL（一种通过XML自定义处理的语言）来构造Oozie工作流。 一个oozi
OOZIE
greahuang的专栏
02-05 1707
oozie
oozie oozie
08-21
如果一切配置无误，Oozie应该能够正常运行而不会报错。 6. **故障排查**：如果仍然遇到“Table ‘oozie.VALIDATE_CONN’ doesn’t exist”错误，可能的原因有：数据库连接问题、SQL脚本未正确执行、配置文件中的...
Oozie出错任务日志追踪思路技巧
fancychuan的博客
07-04 1384
几个概念的关系： workflow > application > job > task > attempt 【sqoop推送失败排查案例】 任务地址： http://hadoop01:8888/oozie/list_oozie_workflow/1808668-190626194816577-oozie-oozi-W/ =============...
Oozie Spark on YARN requirement failed
fansy1990的专栏
12-24 4501
软件环境：CDH：5.7.3；Oozie：4.1.0-CDH5.7.3 ； Spark：1.6.0-cdh5.7.3-hadoop2.6.0-cdh5.7.3 ； Hadoop：hadoop2.6.0-cdh5.7.3（HDFS 采用HA方式）；问题描述：在使用CDH5.7.3版本的时候，发起一个Oozie工作流，该工作流使用Spark On YARN的方式提交一个Spark程序，但是在Oozie
oozie配置mysql：表结构详解
07-19
oozie配置mysql所需表结构。Apache Oozie是用于Hadoop平台的一种工作流调度引擎。
oozie 提交作业时因请求资源不足而suspend的解决方法
weixin_34014555的博客
10-18 424
1，环境情况 安装的CDH5.4，使用CM来管理各个组件（Yarn、Spark、HDFS、Hive、Oozie……）。 2，在shell命令下提交Oozie作业 ①sudo –u hdfs hadoop fs –mkdir /user/cdhfive 创建一个专门的用户目录，这里为cdhfive ②sudo –u hdfs hadoop –ch...
oozie启动shell任务的一个报错
diaoqiaorong8429的博客
09-19 368
　　帮组里用oozie启动shell的时候，发生了一个报错。 2019-09-19 14:24:43,647 WARN ActionStartXCommand:523 - SERVER[xxxx] USER[xxxx] GROUP[-] TOKEN[] APP[xxxx] JOB[0015122-190917141609001-oozie-hado-W] ACTION[0015122...
oozie 客户端常用命令
weixin_34217773的博客
08-20 300
1.提交作业，作业进入PREP状态 oozie job -oozie http://localhost:11000/oozie -config job.properties -submit job: 14-20090525161321-oozie-joe 2.执行已提交的作业 oozie job -oozie http://localhost:110...
oozie 调度异常 JA009: Filesystem closed
weixin_34249367的博客
01-12 166
最近几天发现oozie调度的任务经常会被挂起(SUSPENDED), 之前也存在被挂起的情况，但频率很低， 一周也就一两次， 出现问题时由监控脚本重跑，也不影响正常业务，但最近一两天被挂起的非常频繁，甚至一天有3，4个小时的任务被挂起， 影响正常业务. 个人猜测跟hadoop集群状态(稳定性)有一定关系，但咨询hadoop运维人员后得知集群近几天并未做...
Oozie  任务查看 、 杀死
BigData
08-11 1342
[root@node-1 oozie-4.1.0-cdh5.14.0]# oozie jobs Job ID App Name Status User Group Started Ended -----------------...
Oozie 调度 shell 脚本提交不到yarn
qq_44628081的博客
06-18 410
job一直处于SUSPENDED，没有提交到yarn 在oozied web找错误 解决方案： 原因是yarn-site.xml中的两处配置值太小了，不满足作业的申请条件 把yarn-site.xml中的两处配置加大一点： 容器内存 yarn.nodemanager.resource.memory-mb 最大容器内存 yarn.scheduler.maximum-allocation-mb eg: 执行任务和查询一些状态 1.上传任务配置 /export/servers/hadoop-2.7.5/bin.
java oozie任务状态_Oozie工作流分析
weixin_33132819的博客
02-26 627
我们在实际的生成操作中经常需要将一些任务在晚上开启进行定时执行，或者多个作业，例如hive,mapreduce,shell等任务的组合调用。我们可以使用linux的contab + spervisor + inotify-tool进行任务的配值，但是操作起来麻烦，而且没有可视化的参数返回界面。也不能保证任务的可靠性。在hadoop技术栈中我们可以使用oozie做为任务的调度与定时触发的工具。可以方...
oozie常见问题
hua的专栏
12-10 4015
通过异常信息，可以猜测应该是在执行任务时，配置没有读到，所以使用了默认的0.0.0.0:8030地址。为了验证是否是这个原因造成的，我们可以修改oozie/conf目录下的log4j的日志级别为调试。 然后通过查看和跟踪hadoop的源代码，验证了猜想的正确性，由于oozie在提交job的时候，会读取oozie/conf/hadop-conf/core-site.xml中的配置，异常我们
Protobuf报错Protocol message tag had invalid wire type
热门推荐
九师兄
07-04 1万+
做李林峰的protobuf版本的图书订购服务这个案例，使用protobuf报错如下 io.netty.handler.codec.DecoderException: com.google.protobuf.InvalidProtocolBufferException$InvalidWireTypeException: Protocol message tag had invalid wire ty...
oozie的job.properties怎么写当天的日期字符串传递给workflow的hive Action
最新发布
09-14
在Oozie的工作流中，`job.properties`文件用于定义作业执行时所需要的属性。如果你想在`job.properties`中设置当天的日期字符串，并将这个值传递给工作流中的Hive Action，你可以按照以下步骤操作： 1. 在你的`job....
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值