oozie5.2.0运行自带hive2测试案例的出现KILLED

最新推荐文章于 2023-03-25 17:50:40 发布
最新推荐文章于 2023-03-25 17:50:40 发布
阅读量401 收藏 1
点赞数
分类专栏： Oozie 文章标签： oozie
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41927486/article/details/107236536
版权

启动
hadoop

start-dfs.sh
start-yarn.sh
mr-jobhistory-daemon.sh start historyserver

hive 启动hiveserver2

 hiveserver2 --hiveconf hive.root.logger=INFO,console

oozie

cd $OOZIE_HOME
oozied.sh start

修改hive2里面的job.properties:
在这里插入图片描述
当我提交完成任务后会出现KILLED

百度后发现是hdfs下oozie分享运行的jar包错误，
执行：

oozie-setup.sh sharelib create -fs hdfs://hadoop-master:9000

在hdfs下hive2中生成的jar包问题

解决

在本地下载xml-apis-1.4.01.jar
然后上传上去

hdfs dfs -put xml-apis-1.4.01.jar /user/root/share/lib/lib_20200707132805/hive2/xml-apis-1.3.04.jar

然后运行就成功解决啦！！！

官方自带的jar包也能这么不人性化，这是要逼臣妾秃啊，太难了

今晚吃什么？
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
一文看懂Oozie面试题及参考答案
linweidong的专栏
05-05 65
Oozie的工作流是一个有向无环图（DAG），它由一系列的动作（Action）和控制流节点组成。每个动作代表了Hadoop生态系统中的一个具体作业，如MapReduce、Pig或Hive作业。控制流节点则定义了工作流的执行逻辑，包括开始（start）、结束（end）、决策（decision）、分叉（fork）、合并（join）等。工作流定义了作业之间的依赖关系，确保它们按照正确的顺序执行。Oozie的协调器是一种更高级别的抽象，它允许用户基于时间或数据可用性来调度工作流的执行。
oozie如何真正杀死僵死任务，你是不是被kill命令骗了？
石榴姐yyds
03-09 1255
一般来讲Oozie僵死的任务用kill命令就能解决，但有时候我们杀完后回到Oozie WebUi界面看，明明刚才杀死的任务还是处于Running状态，用Oozie jobs查看杀死的任务其显示的也是killed状态，但Web界面上还是未改过来，这是什么原因呢？原因在于Oozie Web界面的数据是从Oozie配置的元数据库中取数据，一般我们配置在Mysql中，有时候你采用了kill命令进行干掉，但Mysql数据库中状态并未更新过来，这样导致Web界面上显示的还是原来的状态。面对此种情况，我们需要怎么做呢？
hive卡在 kill command不动不能执行的原因及解决方案
毕竟远侦探的博客
05-31 7078
hive进行聚合查询的时候卡在kill command，不能往下进行。如下图： 当执行select*from students;语句是可以运行出结果，但是只要附加条件进行查询就会卡死在这个地方，返回不出结果。 解决方案： 一、 1、select*from students 没有问题，但一旦执行select count() from students where gender=‘女’ 后就不继续执行...
hive启动mapreduce任务后，被killed
乔治大哥的博客
10-31 2650
如果本机搭建集群，当启动过多节点时，难免占用你所运行的内存空间，与此同时，当你在启动mapreduce任务时，运行中的任务虚拟机内存分配不足，则终止任务。所以 右键虚拟机设置：【将内存设置大点】 再次启动hive命令。即可。 ...
HIVE JDBC错误总结
MiLoop的博客
06-11 2109
hive是大数据技术簇中进行数据仓库应用的基础组件，是其它类似数据仓库应用的对比基准。基础的数据操作我们可以通过脚本方式以hive-client进行处理。若需要开发应用程序，则需要使用hive的jdbc驱动进行连接。本文以hive wiki上示例为基础，详细讲解了如何使用jdbc连接hive数据库。hive wiki原文地址： https://cwiki.apache.org/conflue...
Oozie调度SparkSQL样例代码_oozie_hive_
10-01
在大数据处理领域，Oozie和Hive是两个重要的组件。Oozie是Apache Hadoop的一个工作流调度系统，用于管理Hadoop作业的生命周期，而Hive则是一种基于Hadoop的数据仓库工具，允许用户使用SQL（称为HQL）对大规模数据...
Hive编程指南+HIVE从入门到精通+Hive高级编程+Apache Oozie
11-15
在大数据处理领域，Hive和Oozie是两个至关重要的工具。Hive是基于Hadoop的数据仓库工具，它允许用户使用SQL（HQL）查询和管理大规模数据集。而Oozie是Hadoop生态系统中的工作流调度系统，用于管理Hadoop作业的生命...
Hadoop+Spark+Hive+HBase+Oozie+Kafka+Flume+Flink+ES+Redash等详细安装部署
06-22
在大数据领域，构建一个完整的生态系统是至关重要的，其中包括多个组件，如Hadoop、Spark、Hive、HBase、Oozie、Kafka、Flume、Flink、Elasticsearch和Redash。这些组件协同工作，提供了数据存储、处理、调度、流...
oozie oozie
08-21
这个文件通常包含创建Oozie在运行时依赖的各种表和视图的命令，比如`VALIDATE_CONN`表，该表可能用于验证和管理Oozie的工作流连接器。 安装Oozie时，你需要执行`oozie.sql`中的SQL语句来初始化数据库。这通常涉及到...
oozie-5.1.0.tar.gz（2）
04-07
oozie-5.1.0.tar.gz 编译结果，受限上传大小，文件分3部分
Hive on tez执行报错：Vertex did not succeed due to OWN_TASK_FAILURE
youhaitao_do的博客
12-04 8279
Vertex did not succeed due to OWN_TASK_FAILURE, failedTasks:1 killedTasks:203, Vertex vertex_1601265411830_1281843_2_02 [Map 1] killed/failed due to:OWN_TASK_FAILURE]Vertex killed, vertexName=Reducer 3, vertexId=vertex_1601265411830_1281843_2_04, diagno.
【日常踩坑】解决hive运行到kill command这一步之后卡住不动的问题
qq_41945793的博客
05-30 3518
【日常踩坑】解决hive运行到kill command这一步之后卡住不动的问题 如下图，hive提交聚合查询的时候，在这步卡主不动假死，也不报错，log也查不出来， 但是当运行像select*from students;这种语句是却能够查询到数据， 经过排查，解决思路如下： select * from students 语句没有问题，但一旦执行 select count() from stu...
yarn里有大量的短暂killed的hive任务问题排查
遥望......
06-28 1234
问题：我们用AWS EMR的时候发现在yarn的application manager ui里有大量killed的hive任务，而且非常之多，如截图所,我们是通过hive server2方式提交任务的： 解决方案： 首先想到的是不是有什么进程在不断的捣鬼，后来grep 下所有hive进程，将该杀的都杀了之后，并没有什么特殊的异常进程，但是在grep的瞬间有遇到类似如下的命令：bash /usr/lib/hive/bin/hive -e show PARTITIONS mytable 因为我们的..
sqoop从hive导入到外部数据库mysql报错：Job failed as tasks failed. failedMaps:1 failedReduces:0 killedMaps:0 kill
最新发布
luzhiji的博客
03-25 472
我的hive的这个表的数据格式和mysql表里的多不上，导致出错。查找日志然而也并没有真正找得到解决的办法，经过调整hive的表的格式，然后就好了。这个困扰了我很久的问题终于找到了。后来我终于找到原因了。
Hive SQL任务执行报错 (Container killed on request. Exit code is 143)
雾岛与鲸的博客
07-22 5611
错误描述 执行 hive 任务报错 Diagnostic Messages for this Task: Container [pid=27756,containerID=container_1460459369308_5864_01_000570] is running beyond physical memory limits. Current usage: 4.2 GB of 4 GB physical memory used; 5.0 GB of 16.8 GB virtual memory use
hive插入表数据以及出现问题的解决
u014657468的博客
12-02 8205
表结构 create table tableName ( field1 string, field2 string, field3 string, field4 string, field5 string ) 插入hive中使用的格式如下： 插入一行（不带字段名） insert into tableName values(‘x1’,‘x2’,‘x3’,‘x4’,‘x5’) 插入一行（带字段名） ...
Hive UDTF 报错
风远陌
05-22 1209
报错： Status: Failed Vertex failed, vertexName=Map 2, vertexId=vertex_1556099599099_3665_1_00, diagnostics=[Task failed, taskId=task_1556099599099_3665_1_00_000000, diagnostics=[TaskAttempt 0 failed, i...
Oozie调用hive案例——Oozie4.3.1
@羲凡—只为更好的活着
01-25 782
@羲凡——只为了更好的活着 Oozie调用hive案例——Oozie4.3.1 oozie调用hive准备三个文件 job.properties、script.q、workflow.xml 1.job.properties # 当你配置了dfs高可用，fs.defaultFS参数对应的名字， # 否者写hdfs://deptest1:8020或者hdfs://deptest1:9000 nameN...
oozie运行shell脚本
03-16
Oozie可以通过Shell Action来运行Shell脚本。在Oozie的workflow.xml文件中，可以使用Shell Action来定义要运行的Shell脚本。例如： ``` <shell xmlns="uri:oozie:shell-action:.3"> ${jobTracker} ${nameNode} ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值