oozie的job一直在running或者SUSPENDED,任务单独执行不报错

于 2020-08-03 12:12:30 发布
阅读量598 收藏 1
点赞数
分类专栏： 问题 文章标签： hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43681796/article/details/107760757
版权

环境： 自己刚搭建完Oozie之后：hadoop2.6.5 和apache的oozie3.4.1

问题： 运行案例中的mapreduce任务，和sell任务都会一直在runing，过很长时间就会SUSPENDED

在这里插入图片描述

问题分析： 各种查资料，上网查之后。发现job.properties中的jobTracker的端口写错。

解决方案： 找到yarn.resourcemanager.address的端口，写入搭配job.properties中

yarn.resourcemanager.address的端口：

在这里插入图片描述
在这里插入图片描述

修改job.properties：

jobTracker=********:8032

花掏尽
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
oozie一直处于RUNNING 状态,任务无法提交到YARN
hongchenshijie的博客
06-02 1342
出错截图 问题发生的原因 oozie 默认设置使用的是hadoop 1.0 jobTracker端口 8021如图所示 如果使用的是hadoop2.0 并且使用 yarn调度的话得修改为8032端口,修改后如图所示
Hadoop运行wordcount实例任务卡在job running的多种情况及解决方法
最新发布
NBA首席形象大使坤坤
05-22 3344
第一种：配置问题 这是别人的图片，据楼主排查解决是因为hosts配置问题？？？我想知道hosts没配置好，Hadoop是怎么撑到MR的… 现象：各种无法运行、启动 解决办法： 1、修改日志级别 export HADOOP_ROOT_LOGGER=DEBUG,console 查看下详细信息，定位到具体问题解决 第二种：服务器问题 **现象：**运行到job时卡住不动 **原因：**服务器配置低下，内存小或磁盘小 **解决办法：**修改yarn.site.xml配置 <!--每个磁盘的磁盘利用率百分比
oozie 提交作业时因请求资源不足而suspend的解决方法
weixin_34014555的博客
10-18 419
1，环境情况 安装的CDH5.4，使用CM来管理各个组件（Yarn、Spark、HDFS、Hive、Oozie……）。 2，在shell命令下提交Oozie作业 ①sudo –u hdfs hadoop fs –mkdir /user/cdhfive 创建一个专门的用户目录，这里为cdhfive ②sudo –u hdfs hadoop –ch...
Oozie基础小结
02-16 5448
Oozie是一个工作流引擎服务器，用于运行hadoop map/reduce和hive等任务工作流。 同时Oozie还是一个java web程序，运行在java servlet容器中，如tomcat中。 Oozie以action为基本单位，可以将多个action构成一个DAG图的模式运行。 Oozie工作流通过HPDL（一种通过XML自定义处理的语言）来构造Oozie工作流。 一个oozi
Oozie启动job状态SUSPENDED报错Inv…
flash胜龙的博客
04-21 2418
从已经成功连接的机子考过来的一个编译得比较靠谱的oozie 4.3.0，运行一个样例程序，结果报错： 2017-02-23 18:57:48,667  WARN ActionStartXCommand:523 - SERVER[bigmaster] USER[hadoop] GROUP[-] TOKEN[] APP[SparkFileCopy] JOB[0000000-1702231857125
Oozie大数据调度系统从入门到精通视频教程
10-21
从零开始讲解大数据调度系统构成，集成大数据计算任务构建大数据工作流，基于Oozie构建实现企业级自动化任务开发 课程亮点 1，知识体系完备，从小白到大神各阶段读者均能学有所获。 2，生动形象，化繁为简，讲解...
Oozie安装部署及任务定义说明
09-26
- 使用oozie的`oozie job -schedule`和`oozie job -unschedule`命令管理定时任务。 **Oozie客户端常用命令** - `oozie job -info <job_id>`：查看作业信息。 - `oozie job -status <job_id>`：查询作业状态。 - `...
oozie oozie
08-21
当遇到“Table ‘oozie.VALIDATE_CONN’ doesn’t exist”这样的错误时，通常意味着Oozie在尝试访问或执行与数据库相关的操作时，找不到预定义的数据表。在这种情况下，我们需要确保已经正确地配置了Oozie的元数据...
4、Sqoop job任务
05-29
Apache Sqoop 是一个用于在关系型...通过创建、查看、执行和删除job，我们可以更好地组织和自动化数据传输过程，特别是在结合调度工具如Oozie或Airflow时，能实现定时任务的自动化运行，从而提升整体的数据处理能力。
Apache Hadoop---Oozie.docx
06-12
Oozie 的Action执行模型确保了用户代码的安全执行，Oozie Server不直接运行用户代码，而是通过一个启动作业（launcher job）来执行Action。这个启动作业是一个只包含Map阶段的MapReduce作业，它不知道具体的执行环境...
oozie错误：job一直在running或者SUSPENDED，但是就是不执行。任务单独执行是可以的。
weixin_44388193的博客
11-18 321
https://blog.csdn.net/u010886217/article/details/84845945
oozie 客户端常用命令
weixin_34217773的博客
08-20 292
1.提交作业，作业进入PREP状态 oozie job -oozie http://localhost:11000/oozie -config job.properties -submit job: 14-20090525161321-oozie-joe 2.执行已提交的作业 oozie job -oozie http://localhost:110...
oozie 调度异常 JA009: Filesystem closed
weixin_34249367的博客
01-12 160
最近几天发现oozie调度的任务经常会被挂起(SUSPENDED), 之前也存在被挂起的情况，但频率很低， 一周也就一两次， 出现问题时由监控脚本重跑，也不影响正常业务，但最近一两天被挂起的非常频繁，甚至一天有3，4个小时的任务被挂起， 影响正常业务. 个人猜测跟hadoop集群状态(稳定性)有一定关系，但咨询hadoop运维人员后得知集群近几天并未做...
oozie详解
love_dong的专栏
11-17 2095
首页 ›› Oozie ›› 开源技术 ››Oozie工作流程定义详解2014-03-04 19:21:02 YanjunOozie工作流程定义是一个DAG（Directed Acyclical Graphs）图，它由控制流节点（Control Flow Nodes）或动作节点（Action Nodes）组成，各个节点又是通过表征转移的箭线（transitionsarrows）互相连通。对于工作流
Oozie  任务查看 、 杀死
BigData
08-11 1330
[root@node-1 oozie-4.1.0-cdh5.14.0]# oozie jobs Job ID App Name Status User Group Started Ended -----------------...
Oozie 调度 shell 脚本提交不到yarn
qq_44628081的博客
06-18 406
job一直处于SUSPENDED，没有提交到yarn 在oozied web找错误 解决方案： 原因是yarn-site.xml中的两处配置值太小了，不满足作业的申请条件 把yarn-site.xml中的两处配置加大一点： 容器内存 yarn.nodemanager.resource.memory-mb 最大容器内存 yarn.scheduler.maximum-allocation-mb eg: 执行任务和查询一些状态 1.上传任务配置 /export/servers/hadoop-2.7.5/bin.
OOZIE
greahuang的专栏
02-05 1704
oozie
oozie常见问题
hua的专栏
12-10 4010
通过异常信息，可以猜测应该是在执行任务时，配置没有读到，所以使用了默认的0.0.0.0:8030地址。为了验证是否是这个原因造成的，我们可以修改oozie/conf目录下的log4j的日志级别为调试。 然后通过查看和跟踪hadoop的源代码，验证了猜想的正确性，由于oozie在提交job的时候，会读取oozie/conf/hadop-conf/core-site.xml中的配置，异常我们
Apache Sqoop Job操作指南：创建、执行与管理
在实际应用中，Sqoop job 常与调度工具（如 Apache Oozie 或 Cron）配合使用，实现定期自动的数据同步任务。这使得数据的导入导出流程更加自动化和可靠。 七、总结 Sqoop job 提供了一种方便的方式来管理和重用 ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值