查看 YARN 上 Hive 运行的 MapReduce Job 的完整 SQL

最新推荐文章于 2024-04-17 21:18:56 发布
最新推荐文章于 2024-04-17 21:18:56 发布
阅读量3.1k 收藏 6
点赞数 1
分类专栏： Apache Hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u011478909/article/details/90602266
版权

查看 YARN 上 Hive 运行的 MapReduce Job 的完整 SQL

这个默认界面只能看到这个 Job 相关 SQL 的缩略版，没法看到完整的 SQL 很是蛋疼。

image_name

但最近发现只要点到 Configuration 里搜索 query.string，就能看到完整版了。

image_name

我不会是最后一个知道的吧？

丑大狗
关注
  • 1
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
hive调优总结文档-hive tuning ppt
08-22
Hive是Apache Hadoop生态系统中的一个数据仓库工具，它允许用户使用SQL方言（HQL）对存储在HDFS上的大规模数据进行查询和分析。在大数据处理中，Hive的性能优化是一个关键环节，以提高查询速度和系统资源的利用率。...
MapReduce与Yarn 的详细工作流程分析
gqing_的博客
10-08 1163
MapReduce详细工作流程之Map阶段 如上图所示 首先有一个200M的待处理文件 切片：在客户端提交之前，根据参数配置，进行任务规划，将文件按128M每块进行切片 提交：提交可以提交到本地工作环境或者Yarn工作环境，本地只需要提交切片信息和xml配置文件，Yarn环境还需要提交jar包；本地环境一般只作为测试用 提交时会将每个任务封装为一个job交给Yarn来处理（详细见后边的Y...
hive sql执行任务 查看application任务job目前进度多少，两种方法验证
qq_27552579的博客
05-19 2666
一般我们知道当前跑到了多少步了，不知道总共有多少步。 打开yarn 看到进度有多少了吗，50%，这就是进度。简单吧，还有个地方可以验证。 点击applicationMaster，这样就能进入到上面那个界面了，然后点击job_12342423543525245，然后进去后，点击左边的maper task,看看有多少个任务，我这里有20个 这样就能看到mapreduce有多少个,20个，当前进度是10步，所以刚好是50%，验证完毕 ...
Hive进阶(5)----yarn的资源调度策略
最新发布
麦当当的博客
04-17 643
YARN（Yet Another Resource Negotiator）是Apache Hadoop的资源管理器。它负责集群资源的管理和作业调度。：RM是YARN集群的主要组件之一。它负责整个集群的资源管理和调度。RM有两个主要组件：调度器（Scheduler）和应用程序管理器（ApplicationManager）。：调度器负责将集群资源分配给不同的应用程序。它有不同的实现，如容量调度器（Capacity Scheduler）和公平调度器（Fair Scheduler），每种调度器都有不同的调度策略。
HiveSQL的执行流程
weixin_45937224的博客
03-11 1317
HiveSQL的执行流程
【原创】大叔经验分享（1）在yarn上查看hive完整执行sql
weixin_30765505的博客
12-07 1151
hive执行sql提交到yarn上的任务名字是被处理过的，通常只能显示sql的前边一段和最后几个字符，这样就会带来一些问题： 1）相近时间提交了几个相近的sql，相互之间无法区分； 2）一个任务有问题，想看下这个任务具体执行的是什么？是谁的任务？ 通过以下方法可以查看： 1）如果任务正在running，进入yarn的ApplicationMaster页面，进入job，点击configura...
Yarn 上提交的job对应的sql查询
fengfengchen95的博客
12-04 3588
一.在yarn上查看类型是mapreduce 的job对应的sql 1.进入hadoop的监控页面，选择类型是MAPREDUCE的应用。   2.点击上图的application_id进入此application的项目页面信息，如下图所示：  3，点击上图的Tracking URL:对应的History查看历史运行情况，如下图    4.点击最左边的：Configurati...
hive操作.docx
03-31
例如，如果你想让所有的SQL语句都在名为`qmingtong`的大队列中运行，可以执行`set mapreduce.job.queuename=qmingtong;`。这确保了作业在指定队列中进行调度和执行。 2. **修改表的列名**：Hive不直接支持像Oracle...
spark快速数据处理_完整中文版
10-31
而Spark作为Hadoop的补充，不仅可以在Hadoop YARN上运行，还提供了一种比MapReduce更快的计算模型，因为它利用了内存计算，减少了磁盘I/O，从而显著提高了处理速度。 Spark的主要组件： 1. Spark Core：Spark的基础...
Hadoop the Definitive Guide (3nd Edition)（英文版）
07-04
- Hive：一个数据仓库工具，允许用户使用SQL-like查询语言（HQL）访问Hadoop集群。 - Pig：提供高级数据处理语言Pig Latin，简化MapReduce编程。 - ZooKeeper：分布式协调服务，用于管理和同步分布式应用。 6. *...
大数据初学者学习指南(建议收藏).docx
11-12
1.4 试试使用Hadoop：上传、下载文件，提交MapReduce示例程序，查看Job运行状态和日志，了解Hadoop的系统日志。 了解Hadoop的原理 1.5 了解MapReduce的原理：MapReduce是Hadoop的核心组件之一，了解如何分而治之，...
记一次hive查询报错的问题
努力努力再努力！的博客
07-13 1252
记一次hive查询报错的问题 CDH中安装完hive后，执行select count(*) from table,居然报错了 进入yarn的webui页面，查看对应的任务的logs 重点是这句： Error running local (uberized) 'child' : java.lang.UnsatisfiedLinkError: org.apache.hadoop.util.NativeCodeLoader.buildSupportsSnappy()Z 网上找了一圈，说是Mapreduce.
[hive] 任务提交到yarn执行时没有响应,连接失败
朱同学的博客
10-24 840
很可能是resourceManager出了问题 解决办法是关闭当前的主resourceManager,使从nodeManager转正.
Hadoop13：【案例】MapReduce任务日志查看
weixin_40612128的博客
03-01 4216
在上一篇中介绍了MapReduce进行单词计数的案例，这一章介绍下怎么查看MapReduce的任务日志。 如果想要查看mapreduce任务执行过程产生的日志信息怎么办呢？ 是不是在提交任务的时候直接在这个控制台上就能看到了？先不要着急，我们先在代码中增加一些日志信息，在实际工作中做调试的时候这个也是很有必要的 一、syout日志输出 1、mapper类修改 在自定义mapper类的map函数中增加一个输出，将k1,v1的值打印出来 添加内容如下： mapper类修改后代码如下： public stati
根据 Application ID找到 Hive 的 SQL 语句
houzhizhen的专栏
08-11 1564
根据 Yarn 的 Application 找到 Hive 的 SQL，需要根据执行引擎（tez 或者 mr）的不同有不同的方法。以下以 TEZ 引擎 为例。
获取YARN上执行时间最长的JOB列表，并查看是否存在数据倾斜
xw514124202的博客
06-29 3480
处理思路 1、通过 HistoryServerRestApi 获取YARN JOB的基本信息 （包括JOB的 ID和名称，开始时间和结束时间） http://<history server http address:port>/ws/v1/history/mapreduce/jobs?startedTimeBegin=%s&startedTimeEnd=%s 2、对 执行时间...
【大数据spark SQL项目实战】日志分析（十）：topN统计作业运行到YARN上
kingloneye的博客
06-12 287
1、修改代码并打包 package com.kinglone.log import org.apache.spark.sql.expressions.Window import org.apache.spark.sql.functions._ import org.apache.spark.sql.{DataFrame, SparkSession} import scala.collection.mutable.ListBuffer /** * TopN统计Spark作业:运行在YARN之上 */
Hadoop中使用Yarn对任务进行管理
theVicTory的博客
05-09 2647
本文对Yarn的组成结构、工作原理、常用命令和配置参数进行了简要介绍，之后重点记录了容量调度器和公平调度器的原理和使用方法。
java代码提交一个hive sql到yarn上查看
05-31
你可以使用Java代码提交Hive SQL到YARN上运行，以下是一个示例： ```java import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.hadoop.security....

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值