HiveSql中一条Sql语句的旅程

最新推荐文章于 2023-05-09 18:58:52 发布
最新推荐文章于 2023-05-09 18:58:52 发布
阅读量827 收藏 1
点赞数
分类专栏： hive 文章标签： 源码跟踪
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/paicMis/article/details/79846781
版权
本文深入剖析了一条简单的Hive SQL语句“select * from test”在提交解析器前的执行流程，涉及sessionID、queryID、execID的使用，并讨论了SessionState类中的updateThreadName方法对用户权限的影响。此外，文章提到了HiveServer2的性能问题，特别是hive.driver.parallel.compilation参数对多Query并发编译的影响，以及元数据操作导致的全局锁问题。最后，指出了Hive中SQL变量数量的限制。
摘要由CSDN通过智能技术生成

今天主要debug一条最简单的sql语句 “select * from test” 。只是跟踪了这条SQL在提交解析器之前做了那些重要的事情
总共有 sessionID、queryID、execID

这里写图片描述
这里写图片描述
这里写图片描述
这个跳转到了SessionState类中的updateThreadName方法

public void updateThreadName() {
  final String sessionId = getSessionId();
  final String logPrefix = getConf().getLogIdVar(sessionId);
  final String</
最低0.47元/天 解锁文章
Xlucas
关注
专栏目录
hivesql语句练习
12-06
1.上传tar包 2.解压 tar -zxvf hive-1.2.1.tar.gz 3.安装mysql数据库 推荐yum 在线安装 4.配置hive （a）配置HIVE_HOME环境变量 vi conf/hive-env.sh ... hive -e ‘sql’ bin/hive -e 'select * from t_test'
【大数据】Hive查询（select 1）源代码分析详解
如切如磋，如琢如磨，臻于至善。
01-22 1201
在 getMetaData的源代码中有 对 HDFS文件的操作，主要是创建 scratchFile(草稿目录)从日志以及最终的结果来看，select 1 慢的原因，与 操作库表元数据，HDFS交互有重大关系。在排查系统性能指标的过程中。发现 系统的 网络连接数，有非常多的 CLOSE_WAIT.源代码都是基于 apache-hive-3.1.2。结合日志和代码来定位 ，花费的时间都在。总共花费了 0.5 毫秒。
Hive SQL 执行计划
晓晓的天空
02-23 1240
Hive SQL 执行计划
HiveSQL执行计划查看(EXPLAIN)
weixin_45017098的博客
04-30 2853
HiveSQL执行计划是指查询语句的执行过程，包括查询语句的优化、查询计划生成和查询执行。通过EXPLAIN命令，我们可以查看查询语句的执行计划，找到性能瓶颈和优化方案，调试查询语句，加深对查询过程的理解。在实际使用中，我们可以根据需要选择不同的参数来获取不同的执行计划信息。
如何获取Hive正在执行或已结束的SQL语句
shengpli′s blog
04-15 4425
本文主要介绍两种方式来获取Hive正在执行或者已结束的的MapReduce作业的SQL语句，一种是通过MapReduce API获取执行作业的xml配置文件，另一种是通过Cloudera Manager界面直接查看。 一、通过YARN执行作业的xml配置文件 1.通过Hue执行SQL查询，Job Browser页面可以获取该SQL执行的ApplicationID,如下： 2.通过Applicat...
Hive参数优化
feizuiku0116的博客
10-29 1116
此教程中关于Hive的优化，皆是基于Hive2.x的版本，对于Hive1.x旧版本的优化机制不再复述（新版本已改善或变更）。另外新版本中默认为开启状态的优化配置项，在工作中无需修改，也不再复述。 一、HDFS副本数 配置项：dfs.replication （ HDFS） 介绍：文件副本数，通常设为3，不推荐修改。 二、CPU配置 查看CPU线程数 grep 'processor' /proc/cpuinfo | sort -u | wc -l 配置项：yarn.nodemanager.re
电商业务表hive-sql建表语句
05-23
电商业务表hive-sql建表语句
SQL、Hive SQL等SQL血缘解析工具
01-14
// 具有子查询的sql String hql = "select id,name from (select id from table_1 where id={p0}) t1 inner join (select name --this is name\n from table_2) t2"; // 获取id字段的血缘 LineageNode idNode = ...
Hive sql系统学习教程
最新发布
06-24
4. **数据转换语句**: Hive提供数据清洗、转换和合并等功能，通过SQL语句实现数据预处理，以适应不同的分析需求。 5. **数据导出语句**: 可将Hive表中的数据导出到本地文件系统或HDFS，方便数据的分享和进一步处理...
hivesql -- array_contains()函数使用
热门推荐
qq_41018861的博客
04-15 4万+
某个字段条件过多，查询条件失效 select * from login where dt='20130101' and (ver !='3.1' or ver !='3.2' or ver != '4.0' or ver != '5.2'); select * from login where dt='20130101' and (ver !='3.1' and ver !='3.2'
Hive调优及参数优化（详细版）
奇迹虎虎的博客
02-18 1万+
Hive调优及参数优化，涵盖：基础配置优化、压缩配置优化、分桶优化、Map Join、Bucket-Map Join、SMB Join、Hive并行操作、Hive索引、数据清洗转换优化、统计分析优化、Hive优化器等等......
HiveServer 并行编译
houzhizhen的专栏
02-08 674
HiveServer 接收多个客户端发送的 SQL，HiveServer 在编译的时候，默认是串行编译。这样导致编译一个客户端的 SQL 的时候，其他客户端的编译请求需要等待。 参数设置 <property> <name>hive.driver.parallel.compilation</name> <value>false</value> <description> Whether to
Hive 优化
qq_45798620的博客
01-11 1068
Hive 优化并行优化小文件优化矢量化查询读取零拷贝优化数据倾斜优化JOIN的时候的倾斜方案一方案二方式1：运行时判断方式2：编译时判断Union优化GROUP BY分组统计的倾斜处理优化1:优化2：MapReduce迭代计算的概念（补充）MapReduce的计算模型MR的迭代Hive优化小总结 并行优化 并行编译 Hive默认情况下，只能同时编译一个SQL到MapReduce代码的转换，并对这个过程上锁。 为了提高效率，同时减少死锁发生的可能性，我们需要将这个一次只能编译一个的操作，优化为并行执行。
SQL进阶技巧：不用JOIN如何计算原创文章被引用的次数？ | 存在性计数问题分析
石榴姐yyds
03-19 2603
由于题意要求了不能使用join等关联形式求解，通过题意分析此题本质为存在性计数问题，类似于java中我们构建一个HashSet()我们往里面Put数据的时候，每次检查一次是否有该值，有就记为1，最终统计重复的个数有多少个，这类问题也就是我们经常说的容器变换问题，而对应到Hive中时候我们如何构建容器呢？可以通过collect_set()或collect_list()函数来构建，那检查容器中是否存在某个数，我们用array_contains()函数，那么这样一个经典的存在性计数问题就很容易得到解决,具体公式如
Hive 并行编译问题排查解决
weixin_41162023的博客
05-09 223
通过查看hive2 线程信息，排查为hive2 进行sql编译时，一条sql编译时间较长，导致编译锁无法释放，后续sql无法执行，将hive.driver.parallel.compilation参数由false改为true,执行命令：beeline -u jdbc:hive2://xx.xx.xx.xx:port。通过命令Jstack hive2进程ID查看进程的堆栈跟踪信息和线程执行信息。由全局锁改为session锁，这样各个session的sql没有关系。
如何用hive sql 实现 contain 查询？
weixin_45067310的博客
09-26 3901
如何用hive sql 实现 contain 查询？ 需求：判断某个字符串是否在另一个字符串中？ 方法： 用正则匹配regexp 那么用正则实现包含功能的代码是： select '美国加州' regexp('.*加州.*'); true
【大数据】 Hive安装 【学习笔记】
weixin_46703850的博客
04-05 2169
【大数据】 Hive安装 【学习笔记】
beeline连接hiveserver2报错：User: root is not allowed to impersonate root
Magician的博客
08-29 2万+
最近在生产中搭建HA机制的集群，碰到不少坑，会在接下来的时间里好好总结下，先说下遇到的一个大坑。我们的需求是：希望通过hive的thrift服务来实现跨语言访问Hive数据仓库。但是第一步，你得需要在节点中打通服务器端（启动hiveserver2的节点）和客户端（启动beeline的节点）的链接。整体的结构如下图所示： 但是整个的配置过程可谓是一波三折，现在数据1节点启动hiveserver...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值