pig 通过参数替换实现动态运行脚本

一般情况下,都会有定期运行的pig脚本,比如每天运行一次的脚本,这类脚本往往在内部都要用到当天的日期作为参数,pig支持参数替换,参数由前缀$字符来标示,例如我们需要load每天的数据进行统计分析,每天的数据在hdfs上是按日期进行进行命名的,我们可以新建一个test.pig脚本:

a = load '$input' as (.....);

store a into '$output';

然后我们在命令行可以这样:pig -param input=/user/tom/input/2014-12-01.dat -param output=/user/tom/output/2014-12-01.dat -f test.pig

test.pig中会把$标示符指定的参数替换为-param指定的参数值。

更常用的是通过动态参数来替换,即shell脚本中经常会使用到的反引号引用的命令。

我们可以把2014-12-01这段通过shell脚本动态输出:

pig -param input=/user/tom/input/`date "+%Y-%m-%d"`.dat -param output=/user/tom/output/`date "+%Y-%m-%d"`.dat -f test.pig

这样就实现了参数的完全动态替换。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值