在Hadoop监控页面如何查看Hive的完整SQL

最新推荐文章于 2024-04-20 15:09:42 发布
最新推荐文章于 2024-04-20 15:09:42 发布
阅读量7.1k 收藏 2
点赞数 1
分类专栏： hive 文章标签： hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/laozhaokun/article/details/40041753
版权
本文介绍了如何通过Hadoop监控页面查看具体的Hive SQL语句，包括进入Job页面的方法及找到完整SQL语句的具体步骤。
摘要由CSDN通过智能技术生成

如图，这里只能看到简单的一段SQL，几乎看不出具体在执行什么任务。


此时可以点开一个application，点击Tracking URL: ApplicationMaster

进入到MapReduce Job job_1409xxxx，Job页面

点击左侧的Configuration

这里有此Job对应的所有参数，在 右上角的搜索框中输入string,

其中key为 hive.query.string对应的value值就是完整的hive SQL语。

如图



之前并没有好好看过Hadoop监控页面，现在发现这里其实也是值得研究的。

Hadoop集群监控与Hive高可用.rar
09-29
Hadoop是一个开源框架，用于存储和处理大规模数据集，而Hive则是建立在Hadoop之上的一种数据仓库工具，允许用户使用SQL（HQL）语言进行数据分析。本资料包"**Hadoop集群监控与Hive高可用.rar**"聚焦于如何有效地监控...
Hadoop集群监控与Hive高可用-向磊.pdf
11-07
### Hadoop集群监控与Hive高可用 #### Hadoop集群监控Cacti - **Cacti概述**：Cacti是一种广泛使用的开源网络监控工具，它可以用来收集、存储并展示来自不同网络设备的数据。在Hadoop集群环境中，Cacti能够通过...
Hadoop监控页面查看Hive的完整SQL
TURING.DT
04-13 6383
想看看执行的hive job提交了什么语句，有没有方法从hadoop job监控页面查看？ 方法如下，这里看到简单的一段SQL，几乎看不出具体在执行什么任务。 1、点开一个application，点击Tracking URL: ApplicationMaster 或者 History（历史任务显示History）， 进入到MapReduce Job job_1409xxxx，Jo
hive 查看历史job的执行sql
FireCoder的专栏
02-01 4152
问题 线上hadoop有个hivesql执行较耗时，1hour 8min；收到运维预警 定位 查找job history 页面 http://node:8088/cluster/app/application_xxxx_xx http://node:8088/proxy/application_xxxx_xx http://node:19888/jobhistory/jo...
查看HDFS上存储的hive表
大数据技术杂谈
07-16 2050
[hadoop@Master1 hadoop-2.6.4]$ bin/hadoop dfs -lsr /user/hive DEPRECATED: Use of this script to execute hdfs command is deprecated. Instead use the hdfs command for it. lsr: DEPRECATED: Please
在 Hadoop 环境中通过 Hive 使用 SQL 查询 MongoDB 数据
- 监控和维护Hadoop集群的稳定性，以及管理好Hive服务，保证查询性能。 通过使用Hadoop和MongoDB的整合方案，可以为数据分析和处理提供更大的灵活性和功能性，尤其是在处理复杂的数据集合和多样化的查询需求时。
Hadoop、Spark和Hive调优优化原理
AI天才研究院
08-03 1122
1995年伊藤博文等人提出了MapReduce计算框架，将海量的数据分布式地处理在多台计算机上，并通过分割输入数据集并将其划分为多个任务来并行执行计算，最后合并结果得到整体输出。然而随着互联网和大数据的普及以及处理器性能的提升，当时的技术已经远远超过了当时能够想象的范围。这段时间MapReduce计算框架已经成为一个主流的开源计算框架，包括Hadoop、Pig、Hive、Mahout、Storm等。
hive 慢sql 查询
Kafka_yx的博客
04-03 858
解析日志 获取 执行时间 执行 OperationId 执行人 UserName=root 执行sql 数据分隔符为 \001 并写入 hivesql.txt。比如：/var/log/Bigdata/audit/hive/hiveserver/hive-audit.log。查找 hive 执行日志存储路径（一般是 hive-audit.log ）上传相关解析日志到hive。hive 慢sql 查询。
Hadoop学习总结（Hive的远程服务、数据模型操作、数据操作）
最新发布
2202_75688394的博客
04-20 1503
学习Hive远程服务、数据模型操作、数据操作
大数据学习-hive（四：数仓搭建，数据监控，数据支持）
weixin_43446246的博客
07-27 846
数仓搭建，数据监控，数据支持
【Hadoop】搭建完全分布式的hadoop
weixin_30302609的博客
11-13 693
博客已转移，请借一步说话！http://www.daniubiji.cn/archives/577 下面博文已更新，请移步 ↑ 用于测试，我用4台虚拟机搭建成了hadoop结构 我用了两个台式机。一个xp系统，一个win7系统。每台电脑装两个虚拟机，要不然内存就满了。 1、安装虚拟机环境 Vmware，收费产品，占内存较大。 或 O...
查看 SQL 中JOB 的运行状态
James.Duan@CSDN
11-24 4790
 一, 查看是否正在运行     Declare @Job_ID as UNIQUEIDENTIFIER    select @Job_ID =Job_ID from msdb.dbo.sysjobs where name = James_Test    Exec master..sp_MSget_jobstate @Job_ID     返回值为 1 - 正在运行
openfalcon的 日志文件监控 logdog
vbaspdelphi的专栏
10-14 4543
一个非常棒的插件 * https://github.com/sdvdxl/falcon-logdog下载解压后，需要配置一下文件就好了，我的一个典型配置文件如下：{ "logLevel": "WARN", "metric": "log", "timer": 60, "agent": "http://127.0.0.1:1988/v1/push", "host": "10.0.1
查看yarn当前运行任务列表
热门推荐
07-22 1万+
Author： kwu --- 查看yarn当前运行任务列表，可使用如下命令查看：
通过Hive JDBC提交的查询, 如何获取其在Yarn上的Application ID
遥望......
02-25 4596
数据平台上需要封装Hive查询，只提供API给业务方使用，代码中通过Hive JDBC完成将查询语句向Hive提交，等待执行完成，结果解析的功能. 用户提交查询之后意识到查询语句错误(非语法错误)，不想等待错误的语句执行完成后再次提交. 由于用户没有yarn client的权限，kill task的操作也需要通过API提供，因此在提交查询语句时需要获取其在Yarn上的Application Id....
hive server监控程序
shuhuai007的专栏
11-05 1881
#!/usr/bin/env python import sys, os, time, atexit, string from signal import SIGTERM class Daemon:     def __init__(self, pidfile, stdin='/dev/null', stdout='/dev/null', stderr='/dev/null'):
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值