怎样在Hadoop中查看MR执行的SQL语句

最新推荐文章于 2023-09-10 16:09:49 发布
最新推荐文章于 2023-09-10 16:09:49 发布
阅读量1k 收藏 2
点赞数 2
文章标签： 大数据 数据库 python
原文链接：https://my.oschina.net/chiyong/blog/780739
版权

2019独角兽企业重金招聘Python工程师标准>>> hot3.png

在Hadoop中查看Hive执行的SQL语句

 

1：点开hadoop yarn的监控界面 http://ip:8088/(默认的)

如下图：

 

 

 

点击:

进入：

点击红线部分进入：

再点击红线部分进入如下图：

在红线部分输入：hive.query.string

红线所圈的SQL就是了了

转载于:https://my.oschina.net/chiyong/blog/780739

weixin_34198881
关注
  • 2
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
【hadoop学习之路】Hive HQL 语句实现查询
onion23的博客
06-03 1254
表数据 表1 students_data.txt 21434,Sara,F,21,20,73,classC 41443,Mary,M,19,30,90,classA 43333,Dery,F,20,40,85,classB 45454,Mary,F,22,10,91,classA 14634,Henry,M,18,50,56,classC 12656,Shary,M,19,60,93,classA 27676,Heary,M,21,30,81,classB 96785,Jeliy,M,23,40,88
基于Hadoop的数据仓库Hive基础知识
02-25
Hive是基于Hadoop的数据仓库工具，可对存储在HDFS上的文件中的数据集进行数据整理、特殊查询和分析处理，提供了类似于SQL语言的查询语言–HiveQL，可通过HQL语句实现简单的MR统计，Hive将HQL语句转换成MR任务进行...
如何查看本地sql的服务器名_如何查看hadoop任务跑的sql及任务的输入输出
weixin_39741459的博客
11-29 199
有一个场景，比如你们公司集群的hdfs的使用率经常快要不够用了，想删除一些就群上的无用数据，某些数据是否被别的目录依赖使用，这个时候我们就需要解析数据之间的依赖关系，然后从没有下游的数据开始删除，或者设置其生命周期，当某个数据的份数超过其所使用范围，我们就可以将它认为是无用数据，此数据就可以删掉。因为如果想管理好大数据集群hdfs上的数据合理使用和存在、清理，我们需要二个基本数据，第一就是目录数据...
Hadoop之Hive查询语句
柳小葱的博客
05-01 1872
即上一节我们讲到了数据的导入与导出，我们选择将查询语句单独放在一章，因为这一章比较重要。如果有需要看前面知识的同学可以到链接: Hadoop之Hive数据的导入与导出（DML）. 1.数据准备 创建数据 我们要查询，当然少不了数据，这里我们创建两张表dept和emp # dept表的数据 10 ACCOUNTING 1700 20 RESEARCH 1800 30 SALES 1900 40 OPERATIONS 1700 #emp的数据 7369 SMITH CLERK 7902 1980-12-
在Hadoop监控页面如何查看Hive的完整SQL
JacksonKing的专栏
01-22 937
如图，这里只能看到简单的一段SQL，几乎看不出具体在执行什么任务。 此时可以点开一个application，点击Tracking URL: ApplicationMaster 进入到MapReduce Job job_1409xxxx，Job页面 点击左侧的Configuration 这里有此Job对应的所有参数，在 右上角的搜索框中输入string, 其中key为hive.que...
Hadoop监控页面查看Hive的完整SQL
TURING.DT
04-13 6306
想看看执行的hive job提交了什么语句，有没有方法从hadoop job监控页面查看？ 方法如下，这里看到简单的一段SQL，几乎看不出具体在执行什么任务。 1、点开一个application，点击Tracking URL: ApplicationMaster 或者 History（历史任务显示History）， 进入到MapReduce Job job_1409xxxx，Jo
HADOOP生态系统.docx
09-03
Hive将SQL语句转换为MapReduce任务进行执行，提供了一种方便的数据分析接口，尤其适合非编程背景的用户。 Elasticsearch是一个分布式、实时的搜索和分析引擎，它允许快速检索大规模数据，常用于日志分析、信息检索...
spark或mr引擎插入的数据，hive表查询数据为0
最新发布
02-28
通过上述分析可以看出，对于“Spark或MR引擎插入的数据，Hive表查询数据为0”的问题，主要是因为Tez引擎在执行`UNION ALL`操作时生成了额外的子目录，而查询引擎未能正确处理这些子目录。通过改变数据写入方式或是...
hadoop笔记
10-26
hive : 就是 sql 语句解释器 ,接收用户输入的 sql 语句 ,然后将该 sql 语句翻译成复杂的 mapreduce 程序 ,并发布到 mr 集群中进行运行 ,也是计算出有用的信息 4. hbase : mysql 是基于 linux/windows 的文件系统的...
hadoop的hive sql语句总结
fusugongzi的博客
08-15 1628
参考blog:http://www.aboutyun.com/thread-7458-1-1.html 我理解的hive就是执行sql命令的一个东西，最终执行的sql命令都会映射到hadoop的hdfs文件系统，影响hadoop中存储的文件内容，hive sql和mysql sql的区别是具有几个不同的概念出来（1）内部表和外部表（2）partition分区的概念 （3）bucket桶
hadoop 查询指令
m0_48214806的博客
09-10 48
Web 端查看 YARN 的 ResourceManager。Web 端查看 HDFS 的 NameNode。
在Hadoop监控页面怎样查看Hive的完整SQL
weixin_33896069的博客
04-27 310
如图。这里仅仅能看到简单的一段SQL。差点儿看不出详细在运行什么任务。 此时能够点开一个application。点击Tracking URL: ApplicationMaster 进入到MapReduce Job job_1409xxxx，Job页面 点击左側的Configuration 这里有此Job相应的全部參数。在 右上角的搜索框中输入string, 当中key为...
Hadoop学习（十）——HiveQL查询
Stack It Up
03-13 721
Hive QL 查询操作
SQL数据库和Hadoop 区别
aa_moon的专栏
12-02 1万+
SQL（结构化查询语言）是针对结构化数据设计的，而Hadoop最初的许多应用针对的是文本这种非结构化数据。 主要区别如下： 1. 用向外扩展代替向上扩展 Hadoop集群就是增加更多的机器。一个Hadoop集群的标配是十至数百台计算机。而不是专注于提高单台服务器的性能 2. 用键/值对代替关系表 SQL 针对结构化查询语句 是结构化数据，hadoop针对的是非结构化数据，文本形式 关系数据库是
hadoop命令 -- job相关
923723914
10-23 193
hadoop命令行 与job相关的： 命令行工具 • 1.查看 Job 信息： hadoop job -list 2.杀掉 Job： hadoop job –kill job_id 3.指定路径下查看历史日志汇总： hadoop job -history output-dir 4.作业的更多细节： hadoop job -history all output-dir ...
hive之查询（超级详细！！！）
热门推荐
weixin_43520450的博客
08-07 1万+
目录一、基本查询（Select…From）1、全表和特定列查询2、列别名3、算术运算符4、常用函数5 、Limit语句二、Where语句1、比较运算符（Between/In/ Is Null）2、Like和RLike3、逻辑运算符（And/Or/Not）三、分组1、Group By语句2、Having语句四、Join语句1、等值Join2、表的别名3、内连接4、左外连接5、右外连接6、满外连接7、多表连接8、笛卡尔积9、连接谓词中不支持or5、排序1、全局排序（Order By）2、按照别名排序3、多个列排
Hadoop中的MR的demo-- hadoop 2.7
miracle_8的博客
01-19 1482
1、 jar包： 官网的share/hadoop下面的所有目录中的jar包 2、 目录结构 (没有添加配置文件) 3 、代码如下 package com.download; import java.io.IOException; import java.net.URLDecoder; import java.util.StringTokenizer; import org.ap
hadoop查询一条数据
dandanforgetlove的专栏
09-26 2867
hadoop里面查询一条数据，使用oracle的 rownum, top  皆不见效，使用limit 1则ok。 webClient.getPage(req).getWebResponse().getContentAsString()  乱码 打印如下 alert("ÐÕÃû»òÉí·ÝÖ¤ºÅÊäÈëÓÐÎó£¬ÇëºË¶ÔºóÖØÐÂÊäÈ룡"); locati
简述Hivesql 转成mr底层的执行过程
06-08
HiveSQL 是基于 Hadoop 的数据仓库系统，其中的查询语句会被转换成 MapReduce 作业来执行。下面是 HiveSQL 转换成 MapReduce 作业的过程： 1. 解析查询语句：HiveSQL 接收到查询语句后，会进行语法分析和语义分析，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值