获取YARN中实际执行的sql文本

笔者在此之前一直想找到container中运行的sql命令,相信有不少小伙伴和笔者有着相同的疑惑。

偶然间发现了这个参数,可以借助此参数快速找到sql文件。

命令如下:

 hdfs dfs -cat /ats/XXX/application_156000000000_0000*/*/* \
|grep mapreduce.workflow.name \
|awk 'BEGIN{RS="\",\""}{$1=$1;print $0}' \
|grep mapreduce.workflow.name \
|grep -v "select 1"

 解释下命令,先找到 YARN时间轴服务实体组FS存储的活动目录[yarn.timeline-service.entity-group-fs-store.active-dir]
然后根据具体的appicationID找到文件夹位置。
参数mapreduce.workflow.name 对应值即为sql命令。这一行很长,使用awk切分过滤一下。最后输出结果。

在hive里写个sql 实验一下:

  • 0
    点赞
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值