azkaban调用shell传两个参数先后顺序

最新推荐文章于 2023-05-16 16:37:47 发布
最新推荐文章于 2023-05-16 16:37:47 发布
阅读量4.4k 收藏 3
点赞数 1
分类专栏： azkaban 文章标签： azkaban
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/kjdsgh/article/details/77684556
版权
本文介绍了在Azkaban中调用Shell脚本时遇到的参数传递问题，特别是当需要传递datetime和filename两个参数时。文章详细描述了如何设置Azkaban的job以及Shell脚本来实现这一功能，指出了参数顺序错误导致的问题，并提供了解决方案，即调整参数顺序以确保正确执行Shell脚本。
摘要由CSDN通过智能技术生成

azkaban调用shell传递两个参数。
因需要使用azkaban去掉shell并传递两个参数，一个是datetime，另一个是filename。
现azkaban的job如下

type=command
command=sh /home/dove/get_data.sh '' 'aaa,bbb,ccc'

传递两个，一个是datetime，一个是filename。
datetime默认传一个空去计算前一天的日期filename准备去shell内做分割之后遍历操作相应的文件。
然后shell脚本如下，并截图产生的现象

最低0.47元/天 解锁文章
kjdsgh
关注
专栏目录
Kettle【实践 01】Linux环境下使用Azkaban定时调用Kettle的KJB或KTR脚本实现自动化数据处理（完整流程实例分享:包含sql+ktr+shell+flow相关文件云资源）
Java与大数据相关实践内容分享！
07-15 1390
Linux环境下使用Azkaban定时调用Kettle的KJB或KTR脚本实现自动化数据处理（完整流程实例分享:包含sql+ktr+shell+flow相关文件云资源）
三、Azkaban调度Shell脚本
嘻哈吼嘿呵的博客
09-10 4333
需求：通过Azkaban 调用 shell脚本，将当前时间追加到指定目录的date.txt文件中 1、Liux下创建shell脚本 mkdir azkaban_schedule cd azkaban_schedule/ vim shell_az.sh #!/bin/bash date >> /root/azkaban_schedule/date.txt 2、在 Wi...
shell中脚本参数传递的两种方式
热门推荐
随风丶逆风的博客
02-09 23万+
方式一：$0,$1,$2.. 采用$0,$1,$2..等方式获取脚本命令行传入的参数，值得注意的是，$0获取到的是脚本路径以及脚本名，后面按顺序获取参数，当参数超过10个时(包括10个)，需要使用${10},${11}....才能获取到参数，但是一般很少会超过10个参数的情况。 1.1 示例：新建一个test.sh的文件 #!/bin/bash echo "脚本$0" echo "第一个参...
shell 脚本 （2）传递参数
gaotihong的博客
01-14 422
1.传递参数
Shell入门（二）传递参数
lzl759552889的博客
04-05 259
Shell 传递参数我们可以在执行 Shell 脚本时，向脚本传递参数，脚本内获取参数的格式为：n。n代表一个数字，1为执行脚本的第一个参数，2为执行脚本的第二个参数，以此类推……实例以下实例我们向脚本传递三个参数，并分别输出，其中n。n 代表一个数字，1 为执行脚本的第一个参数，2 为执行脚本的第二个参数，以此类推…… 实例 以下实例我们向脚本传递三个参数，并分别输出，其中 0 为执行的文
azkaban 动态传参shell篇
Mask_V的博客
12-04 4881
原文地址：https://www.cnblogs.com/honeybee/p/7921626.html 2. shell类型的job的参数传递 azkaban中的shell 作业，如何接收从webUI传递的参数？ step1： UI页面输入参数定义： ui_test=test111111111 step2：在job文件myjob.job指定： ##作业定义文件UI输入参数接收： ...
Azkaban依赖设置的简单使用
04-22
在`.job`文件中，你可以指定`command`字段来运行一个shell命令，如`bash /path/to/date_save.sh`。这个脚本可以执行系统命令、数据处理逻辑或其他shell操作。 3. **执行Python脚本（df_save.py）**：对于Python任务...
azkaban需要用到的资料文件
01-04
5. **first1.zip, condition.zip**: 这两个是ZIP压缩文件，可能包含了额外的工作流定义、作业脚本或者资源文件。在Azkaban中，你可以将相关文件打包成ZIP上传，这样在工作流执行时，Azkaban会自动解压并获取其中的...
Azkaban知识点入门
默主归沙的博客
06-04 1311
任务流程图： 官网：https://azkaban.github.io/ 1.2 azkaban的特点 1.3 常见调度系统 1.4 azkaban和oozie的比较 azkaban和oozie相对来说是市面上最流行的两种调度器。总体来说，ooize相比azkaban是一个重量级的任务调度系统，功能全面，但配置使用也更复杂。如果可以不在意某些功能的缺失，轻量级调度器azkaban是很不错的候选对象。具体对比如下： 工作流定义 工作流传参 定时执行 资源管理 工作流执行 工
shell 检测azkaban进程
10-12
放在linux系统上，用来检测后台的进程是否因为某些原因宕机了，这里以azkaban进程为例，如果进程消失，则重新启动
shell脚本：函数及传参
几何君的算法天空
12-17 2124
函数的定义 shell脚本的函数位置相对自由,既可以一个shell脚本单独成一个函数, 也可以在主代码中嵌入内置函数. 在Shell中可以通过下面的两种语法来定义函数，分别如下： function_name () { statement1 statement2 .... statementn } 或者 function function_name(...
程序从shell接收到的参数
I have a adream
05-21 974
参考文献：http://blog.sina.com.cn/s/blog_5d90e82f01014k5j.html 中心思想：shell 将通配符解析之后，作为参数传递为程序。 例：当前目录下有两个文件 file1 file2,在 shell 内执行 ls *时，程序运行过程如下： 1. shell 先解析 ls *中的通配符（×），得到 file1, file2 2. 将 file1,f
获取shell 输入参数
lvmengzou的专栏
07-26 8561
#!/bin/bash echo "File Name: $0" 第0 个参数 echo "First Parameter : $1" 第1 个参数 echo "First Parameter : $2" 第2 个参数
azkaban shell任务
JavaBigData的博客
06-26 297
#first.job type=command command=bash -c "echo 'this is my first job' >> /home/baiyun/test/b.txt" 有路径的需要用bash -c “cmd string”，不然执行没有作用
azkaban与zeppelin的shell脚本调度任务
qq_40537039的博客
11-19 1241
Shell脚本 编写Shell脚本实现Azkaban利用用户名、密码、noteID等来调用Zeppelin的代码。 #!/bin/bash #设置参数默认值 zeppelin_server_addr=192.168.128.200 port=8089 # 登录到zeppelin服务器,并且保存本次会话的cookie信息 curl -X ...
Azkaban 实战
程序员学习圈
09-14 436
    该教程主要实现了使用Azkaban通过sqoop将mysql的数据同步至hive中，具体代码详见：https://download.csdn.net/download/luomingkui1109/10667367     代码里面的同步方案有：第一次全量导入，增量导入。...
azkaban 调用 shell脚本,执行结果不返回
lg4546的专栏
12-22 2164
vim /data/azkaban/exec/job/test.sh shell脚本内容, #!/bin/bash set -e configfile="$1" while read -r line ; do eval "$line" done < $configfile path=data name=ads_ub_pv_uv_ip_cnt sed "s/yesterday/$yesterday/g" /$path/azkaban/exec/job/$name.sql > /$path/.
azkaban --- 案例实操
最新发布
qq_57151931的博客
05-16 1422
azkaban --- 案例实操
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值