azkaban 执行hiveshell脚本找不到tez包

于 2022-12-22 16:17:27 发布
阅读量302 收藏
点赞数
分类专栏： 笔记 文章标签： hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43170212/article/details/128410078
版权

 in thread "main" java.lang.NoClassDefFoundError: org/apache/tez/runtime/api/

    这里 在服务器直接 执行脚本是可以运行tez引擎的，所以这里最开始百思不得其解。

    后来看帖子发现，是azkaban启动是读取当时的服务器配置的环境变量，如果环境变量之后修改，也不会同步到azkaban。重启azkaban之后就好了。

    当时是先启动的azkaban，后集成的tez配置的环境变量。所以azkaban找不到tez的包。

A .Wang，，
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
三、Azkaban调度Shell脚本
嘻哈吼嘿呵的博客
09-10 4318
需求：通过Azkaban 调用 shell脚本，将当前时间追加到指定目录的date.txt文件中 1、Liux下创建shell脚本 mkdir azkaban_schedule cd azkaban_schedule/ vim shell_az.sh #!/bin/bash date >> /root/azkaban_schedule/date.txt 2、在 Wi...
Azkaban学习之路 （三）Azkaban的使用
weixin_33709609的博客
04-15 226
界面介绍 首页有四个菜单 projects：最重要的部分，创建一个工程，所有flows将在工程中运行。 scheduling:显示定时任务 executing:显示当前运行的任务 history:显示历史运行任务 介绍projects部分 概念介绍 创建工程：创建之前我们先了解下之间的关系，一个工程包含一个或多个flows，一个flow包含多个job。job是你想在az...
Hadoop生态圈-Azkaban实现hive脚本执行
weixin_34150503的博客
06-27 854
　　　　　　　　　　　　　　　　Hadoop生态圈-Azkaban实现hive脚本执行 　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。      　　本篇博客中在HDFS分布式系统取的数据，而这个数据的是有之前我通过MapReduce生产的数据，详情请参考：https://www.cnblogs.com/...
azkaban启动脚本
coisini.cn记录
10-17 410
azkaban.sh #!/bin/bash start-web(){ for i in sc1;do ssh $i "cd /opt/module/azkaban/azkaban-web/;bin/start-web.sh" done } stop-web(){ for i in sc1;do ssh $i "cd /opt/module/azkaban/azkaban-web/;bin/shutdown-web.sh" done } start-exec(){ for i in .
71 Azkaban HIVE脚本任务
阿甘兄
08-09 976
创建job描述文件和hive脚本 Hive脚本： test.sql use default; drop table aztest; create table aztest(id int,name string) row format delimited fields terminated by ','; load data inpath '/aztest/hiveinput' into table...
azkaban .bat 一件打包成 zip 脚本.zip
07-08
在上传到Azkaban之前，使用这样的自动化脚本进行打包，可以确保作业的所有必要组件都被正确地包含，从而避免运行时出现依赖问题。 综上所述，这个压缩包提供了一种高效的方法，用于将包含Azkaban作业的目录结构打包...
azkaban4.0编译包
02-09
4. **启动服务**：启动Azkaban执行服务器和Web服务器，通常使用`bin/start-azkaban.sh`和`bin/start-webserver.sh`脚本。 5. **测试与使用**：通过Web界面提交工作流定义（通常为`.job`文件），设置工作流的依赖...
azkaban 3.43自动化安装脚本
06-14
本脚本为azkaban3.43自动化部署脚本，需先自己安装mysql数据库并执行相关的导入sql脚本create-all-sql-3.43.sql，之后用root用户执行自动化脚本：azkaban3.43_install.sh（执行过程中会提示输入项目的数据库信息：ip...
Azkaban调度工具，里面包含Azkaban安装包及依赖包
06-18
在IT行业中，高效的任务调度是确保数据处理流程稳定运行的关键，而Azkaban因其简单易用和强大的功能，被广泛应用于各种数据处理项目。 Azkaban 3.56.0是这个压缩包提供的版本，它已经经过编译，用户无需从源代码...
azkaban 最新的编译包
12-07
Azkaban执行服务器负责运行由Azkaban-Solo-Server或Web-Server调度的任务。`azkaban-exec-server-0.1.0-SNAPSHOT.tar.gz`包含了这个执行服务器的最新编译版，它与调度系统协同工作，执行实际的作业任务。 3. **...
sh中执行sql脚本
04-29
NULL 博文链接：https://cuityang.iteye.com/blog/2410788
Azkaban实战-Hive脚本任务
Movle
05-17 1950
1.创建job描述文件和hive脚本 (1)Hive脚本：student.sql vim student.sql 添加内容： use default; drop table student; create table student(id int, name string) row format delimited fields terminated by '\t'; load data local inpath '/opt/module/datas/student.txt' into table stu
azkaban 调用 shell脚本,执行结果不返回
lg4546的专栏
12-22 2142
vim /data/azkaban/exec/job/test.sh shell脚本内容, #!/bin/bash set -e configfile="$1" while read -r line ; do eval "$line" done < $configfile path=data name=ads_ub_pv_uv_ip_cnt sed "s/yesterday/$yesterday/g" /$path/azkaban/exec/job/$name.sql > /$path/.
azkaban调度任务的时候报错：hive: command not found
jackfeng86的专栏
12-27 1836
azkaban调度任务的时候报错：hive: command not found，具体错误如下： 27-12-2021 15:06:26 CST hdfs_to_ods_log INFO - ================== 日志日期为 2021-12-25 ================== 27-12-2021 15:06:26 CST hdfs_to_ods_log INFO - /home/test/bin/hdfs_to_ods_log.sh: line 18: hive: comman
Spark连接hive出错，table not found
zhaoguowei的博客
04-02 2847
运行通过maven构建好的jar出错： Exception in thread “main” org.apache.spark.sql.catalyst.analysis.NoSuchTableException: Table or view ‘zgw’ not found in database ‘default’; Exception in thread "main" org.apache.s...
利用azkaban编写shell脚本实现hive多个时间分区的数据修复功能
qq_43193797的博客
10-30 546
模拟代码如下： 方式一： #!/bin/bash etldate=(20190404) etlhour=(13) for date in ${etldate[@]} do for hour in ${etlhour[@]} do echo $date$hour ./ad_nobid_data_b.sh $date$hour done done 方式二： etldate=(201910...
azkaban使用
weixin_33754913的博客
09-13 145
新建一个text文件，a.job，打包成zip包传到azkaban即可   方式1：job流   1. a.job内容范例： type=command command=hive shell command=hive -e 'set hive.execution.engine=tez;' command=hive -e 'select * from hivedb.t_user ...
任务调度器之Azkaban的使用
积跬步，至千里。
06-29 1188
Azkaban是一个批量工作流任务调度器。用于在一个工作流内以一个特定的顺序运行一组工作和流程。在大数据领域中，用于运行Hadoop作业。
azkaban-solo安装运行问题
qq_45077480的博客
12-24 1113
Exception in thread "main" java.lang.NoSuchMethodError: com.google.common.collect.ImmutableMap.toImmutableMap(Ljava/util/function/Function;Ljava/util/function/Function;)Ljava/util/stream/Collector;
azkaban 执行shell脚本
最新发布
09-02
你可以使用 Azkaban 来执行 Shell 脚本。Azkaban 是一个用于工作流调度和任务编排的开源工具。下面是一个示例，展示如何在 Azkaban 中执行 Shell 脚本： 1. 首先，确保你已经安装了 Azkaban，并且配置好了相关环境。 2. 创建一个新项目，并在项目中创建一个新的 Flow。 3. 在 Flow 中，添加一个 Command 节点。在这个节点中，填写要执行的 Shell 命令或脚本的路径。例如，你可以填写 `/path/to/your/script.sh`。 4. 配置 Command 节点的其他属性，如超时时间、重试次数等。 5. 保存并上传你的 Flow。 6. 在 Azkaban 的界面中，可以手动触发 Flow 的执行，或者配置定时调度。 当 Flow 执行时，Azkaban 将会运行你指定的 Shell 脚本。你可以在脚本中编写任何需要执行的命令，如运行其他程序、处理数据等。执行结果可以在 Azkaban 的界面中查看。 请注意，在使用 Azkaban 执行 Shell 脚本时，需要确保脚本的可执行权限，并且所需的依赖环境和资源已正确配置。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值