根据 Application ID找到 Hive 的 SQL 语句

根据 Yarn 的 Application 找到 Hive 的 SQL,需要根据执行引擎(tez 或者 mr)的不同有不同的方法。以下以 TEZ 引擎 为例。

1. 通过界面

找到 Application

点击 Tracking URL 后面的链接,当运行的时候是 “ApplicationMaster”。当运行结束后是 “History”

 进入 Application 界面,如下图所示。

 点击 [DAGs],一个 Appcation 可能运行多个 DAG,一个SQL 运行生成一个 DAG。

点击对应的 DAG,进入下面的界面

​ 

 点击【Download data】,下载一个 zip 文件,点击解压此文件。

 进入目录【dag_1655120277783_0036_1】,如下图所示。

打开文件【dag-extra-info.json】,搜索 【description】,找到dagPlan/dagContext/description,就是执行的SQL。由于'换行符'替换为 \n,如果执行此SQL,需要把 \n 换为'换行符' 或者空格。

2. 通过 timeline-server api

假设 timeline server 监听 172.23.233.232 8188 端口

那么假设 application id 是 application_1660210417920_0001。首先根据 application id 找到对应的 dag id,然后第2步根据 dag id 查找dag 的详细信息,详细信息里包含 SQL。

2.1 根据 application 找到对应的 dag id

http://172.23.233.232:8188/ws/v1/timeline/TEZ_APPLICATION/tez_application_1660210417920_0001

根据 TEZ_DAG_ID 找到后面的 dag id。

{"TEZ_DAG_ID":["dag_1660210417920_0001_1"]}

2.2 根据 dag id 请求 dag 的详细信息

http://172.23.233.232:8188/ws/v1/timeline/TEZ_DAG_EXTRA_INFO/dag_1660210417920_0001_1

搜索 description 找到对应的SQL

"description":"select c1,count(1) cnt from t1 group by c1"

  • 2
    点赞
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
### 回答1: Oracle和Hive SQL语句有一些相似之处,但也有一些不同之处。 相似之处: 1. 语法:Oracle和Hive SQL语句的语法都是基于SQL标准的,因此它们有很多相似之处。 2. 数据类型:Oracle和Hive SQL语句都支持常见的数据类型,如整数、浮点数、字符串等。 3. 聚合函数:Oracle和Hive SQL语句都支持聚合函数,如SUM、AVG、MAX、MIN等。 不同之处: 1. 分区:Hive SQL语句支持分区,可以将数据按照某个字段进行分区,提高查询效率。而Oracle没有这个功能。 2. 数据类型:Hive SQL语句支持更多的数据类型,如数组、结构体等,而Oracle不支持。 3. 执行引擎:Oracle和Hive SQL语句的执行引擎不同,Oracle使用的是传统的关系型数据库引擎,而Hive使用的是基于Hadoop的MapReduce引擎。 总的来说,Oracle和Hive SQL语句都有各自的优缺点,需要根据具体的需求来选择使用哪种语句。 ### 回答2: Oracle和Hive SQL是两种不同的数据库管理系统,它们各有优点和劣势,在处理大数据的时候有着不同的比较。下面将从各个方面来比较它们的优劣。 一、数据类型的支持 Oracle支持的数据类型较为丰富,包括基本的整型、字符型、日期型,还有二进制大对象等复杂数据类型,在数据处理的时候更为灵活,支持更多的应用场景。 而Hive SQL在数据类型的支持上相对较少,主要支持整型、浮点型、字符串、日期等基本数据类型,不支持复杂的二进制对象。 二、数据分析功能 Oracle在数据分析方面有着强大的功能,支持窗口函数、分析函数、统计函数等高级分析功能。它可以快速的进行数据分析和处理。 而Hive SQL在数据分析方面相对较弱,主要支持基本的数据分析功能,但是由于它的数据存储方式是分布式的,可以通过MapReduce来处理更大的数据集。 三、性能方面 Oracle在性能方面表现良好,在多用户的高并发情况下也有着出色的表现。通过多线程的方式处理大量数据,在响应速度和数据处理能力上都比较强。 而Hive SQL在性能方面较为一般,在处理大量数据时需要较长的时间和较大的计算资源。但是它的分布式存储方式可以保证数据的并发性和容错性。 四、编程接口 Oracle支持多种编程语言,比如Java、C++、Python等,而Hive SQL主要使用HiveQL语言,也可以通过Java和Python等编程语言来操作Hive。 总的来说,Oracle和Hive SQL各有优点,在不同的场景下选择适合自己的工具才是最佳的选择。如果你要处理的数据较为复杂,需要进行高级的数据分析,可以选择Oracle数据库;如果你需要处理的是大量分布式的数据,可以选择Hive SQL。 ### 回答3: Oracle和Hive SQL是两种不同的数据库管理系统,它们都有自己的优点和缺点,也可以根据不同的需求进行选择。 Oracle是一种商业化的数据库管理系统,它具有强大的性能和扩展性,可以支持非常大规模的数据处理和存储。Oracle可以通过多种方式进行访问和管理,包括命令行、Web界面、可视化工具等等。它还提供了非常强大的安全性和可靠性,可以处理高并发的各种数据库操作。另外,Oracle也有非常广泛的使用场景,是传统企业数据管理的首选之一。 相比之下,Hive SQL主要是为大数据处理而设计的,它可以将数据存储在Hadoop分布式文件系统,通过MapReduce进行处理。Hive SQL可以使用类SQL语法来进行数据分析和查询,非常适合于处理非结构化数据和大规模的数据集。Hive SQL还具有较低的成本和高可伸缩性,可以扩展到数百万个节点,可以运行在云环境。 总体来说,Oracle和Hive SQL都是非常强大、成熟的数据库管理系统,它们提供了不同的功能和使用场景。对于处理传统企业数据的场景,Oracle是更为合适的选择。如果需要处理大规模的非结构化数据集,或者需要在云环境运行,那么Hive SQL则是更好的选择。不过,这并不是绝对的答案,具体选择还需要根据实际需求进行权衡和评估。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值