hive查询时取消对应yarn任务

最新推荐文章于 2022-09-27 09:43:21 发布

当当是个程序员

最新推荐文章于 2022-09-27 09:43:21 发布

阅读量839

点赞数

分类专栏： hive 文章标签： hive big data

本文链接：https://blog.csdn.net/u012601009/article/details/120451658

版权

本文介绍了如何在Hive查询时取消对应的YARN任务，提供了两种方法：一是通过hive JDBC获取并解析日志获取application id，再用SSH执行yarn application --kill命令；二是设置查询任务名，通过YARN REST API查询并杀死任务。对于设置任务名在MR和Tez引擎中的不同处理也进行了说明，并给出了相关参考资料。

摘要由CSDN通过智能技术生成

hive查询时取消对应yarn任务

主要有两种方式

一种是通过hive jdbc的hivestatement的getQueryLog方法获取yarn任务日志，解析日志内容，获取到application id，然后通过ssh的方式执行yarn application --kill 命令。

一种是通过设置hive查询时的任务名，如在使用mr引擎时，执行set mapred.task.name=jobname, 然后通过yarn rest api查询指定的任务名得到application id，然后通过ssh的方式执行yarn application --kill 命令（或者在应用部署的机器上安装yarn客户端，通过api执行命令行）。

方式一

在执行查询之前开启异步定时查询yarn任务执行日志。如下代码


  jdbcTemplate.execute(sql, new PreparedStatementCallback<Object>() {
   
                @Override
                public Object doInPreparedStatement(PreparedStatement ps) throws SQLException, DataAccessException {
   
                    HiveStatement stmt = ps.unwrap(HiveStatement.class)