hive JDBC 进度和日志查看

最新推荐文章于 2022-08-18 17:18:43 发布
VIP文章 最新推荐文章于 2022-08-18 17:18:43 发布
阅读量4.1k 收藏 3
点赞数 2
文章标签： 大数据 java 数据库
原文链接：https://my.oschina.net/OttoWu/blog/705383
版权

为什么80%的码农都做不了架构师？>>>   hot3.png

hive JDBC 进度和日志查看

@(hive)[JDBC|进度|日志] hive的JDBC提供了java连接hiveserver2查询的能力，但是hive JDBC有别于关系型数据库，一个查询语句可能要在十几分钟到几十分钟才会返回结果，而hive JDBC并不会实时显示进度和日志，这样在查询的时候对用户不是很友好，需要在执行sql的时候显示进度。

在后台查看hiverserver2的日志中发现，其实hiveserver2在执行一个sql查询的时候是会捕捉到MR运行的进度和日志的，所以只要能把hiverser2获取到MR进度的日志捕捉到，就能实现显示进度的功能。在之前的hive 0.7 和 0.9版本中我们是直接修改了hive-jdbc的源码来实现日志和数据的分离和重定向显示。在hive 1.1.0中其实已经有了可以获取进度的API了，分别是HiveStatement中的 List<String> getQueryLog()，List<String> getQueryLog(boolean incremental, int fetchSi

最低0.47元/天 解锁文章
weixin_34372728
关注
  • 2
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
hive2-jdbc:Hive JDBC连接示例，包括简单和kerberos身份验证方法
04-28
Hive JDBC连接示例 该项目展示了如何使用各种不同的方法连接到Hiveserver2。 所有类仅适用于Hiveserver2。 正在使用Cloudera JDBC驱动程序，可以从下载。 在撰写本文时，最新版本为v2.5.15 。 要求： 您需要下载驱动程序并将其复制到lib文件夹。 从下载zip，以获取正确的操作系统和体系结构。 解压缩并转到Cloudera_HiveJDBC41_xxx文件夹。 将所有罐子从那里复制到lib文件夹。 JDBC API v3.x支持JRE v4.0或v5.0 JDBC API v4.x支持JRE v6.0或更高版本 JDBC API v4.1.x支持JRE v7.0或更高版本 适用于Apache Hive的Cloudera JDBC驱动程序支持Hive 0.11、0.12、0.13、0.14、1.0和1.1。 有关更多信息，请参阅下载的z
seatunnel 支持hive jdbc
07-28
source { Jdbc { url = "jdbc:hive2://111.11.11.11:10000/ods_wjw" driver = "org.apache.hive.jdbc.HiveDriver" user = "hive" password = "hive" table = ods_wjw_jb_gxy_hz_glk query = "select a,b,c from ods_wjw_jb_gxy_hz_glk" fetch_size = 300 } }
cdh6.2.1下hive on spark配置使用，hue使用，beeline使用，hive-jdbc使用及日志进度获取
weixin_43455443的博客
03-31 2512
CDH6.2.1 环境 1、开启hive on spark配置： 在hive配置中搜索 spark ，更改一下配置： YARN 服务上的 Spark 选择spark 默认执行引擎 hive.execution.engine ：spark 执行程序初始数 spark.dynamicAllocation.initialExecutors ：2 ，启动sparksession时，默认初始启动的executor个数，如果配置了 set spark.executor.instances=3 （启动的e
hive jdbc中通过HiveStatement.getQueryLog无法拉取到执行日志的问题分析与解决
xiao_jun_0820的专栏
11-20 6510
问题描述 公司内部查询服务将hive从1.1升级到2.3.3版本之后,通过HiveStatement.getQueryLog无法拉取到执行日志了，原来是可以拉取到类似控制台执行hive时候那样的日志，包括queryid, mapreduce个数等等信息。 问题排查 首先将测试环境的hiveserver2开启debug模式,远程debug端口默认是8000,这里我改成了8101,因为8000被其...
hive-jdbc获取查询日志慢的问题发现与解决
qq_38472465的博客
05-30 307
hive-jdbc获取查询日志慢的问题发现与解决
5.Hive Server2
小羽的博客
07-21 390
修改hdfs的超级用户权限 <!--在hdfs集群的core-site.xml文件中添加如下配置文件--> <property> <!--修改的是hdfs权限，如果是aa用户就写成--><!--hadoop.proxyuser.aa.groups--> <name>hadoop.proxyuser.root.groups</name> <!--这里用到的是*，所有用户都可以被伪装--> <!--可以指添加几个
JDBC方式连接Hive获取进度信息
蓝星极盾
08-23 6467
最近做项目，有个小问题，JDBC连接hive操作后，由于hive的查询一般都比较久，用beeline或者hive命令行去操作，都可以看到进度信息，但普通的JDBC操作却看不到进度信息。需要获取进度信息，在网上没有找到相关资料后。研究了一下beeline的源代码。其实so easy！！！
beeline提交sql,执行日志内容获取不到？
人的大脑是cpu，而不是硬盘
05-30 626
为了直接能获取到hive insert语句插入的行数，通过获取日志的方式避免count 通过下面的命令就可以直接获取执行结果 count=`echo "$hql" | beeline -u "jdbc:hive2://cdh003:10000" 2>&1 |grep affected |awk '{print $1}'|awk 'END {print}'` ...
hive jdbc 连接所需要的jar包
10-10
hive jdbc 连接所需要的所有jar包，很全的，不需要再下载其他的
apache seatunnel支持hive jdbc
最新发布
10-30
apache seatunnel支持hive jdbc
hive jdbc依赖的jar包
09-27
hive_jdbc，经过测试可以连接的。有需要的可以下载看下。hive_jdbc，经过测试可以连接的。有需要的可以下载看下。
利用java jdbc从hive提取日志数据进行简单处理
一剑飘雪之西门吹的博客
11-01 3667
利用java jdbc从hive数据库提取日志数据进行简单处理
HiveServer2 获取日志
热门推荐
KeithChen's的博客
12-21 1万+
讨论的版本为: HiveServer2 版本 : 2.3.1 + tez  由于最近在弄WEBIDE，其中在连接Hiveserver2的时候，在Hiveserver2的获取日志的方式，发现了两个坑，找了许多文献，也没有找到解决的办法。 其中一个坑，有一个同事在看到hive的BUG反馈中，看到一些类似情况，解决的。 而另外一个坑，是走了很多很多崎岖的路途，一步一步的发现出来的解决办法。
通过Hive JDBC提交的查询, 如何获取其在Yarn上的Application ID
Copperfield的技术成长专栏
07-22 6867
数据平台上需要封装Hive查询，只提供API给业务方使用，代码中通过Hive JDBC完成将查询语句向Hive提交，等待执行完成，结果解析的功能. 用户提交查询之后意识到查询语句错误(非语法错误)，不想等待错误的语句执行完成后再次提交. 由于用户没有yarn client的权限，kill task的操作也需要通过API提供，因此在提交查询语句时需要获取其在Yarn上的Application I...
在字节跳动，一个更好的企业级SparkSQL Server这么做
m0_67698950的博客
08-18 204
Spark 组件由于其较好的容错与故障恢复机制，在企业的长时作业中使用的非常广泛，而SparkSQL又是使用Spark组件中最为常用的一种方式。相比直接使用编程式的方式操作Spark的RDD或者DataFrame的API，SparkSQL可直接输入SQL对数据进行ETL等工作的处理，极大提升了易用度。但是相比Hive等引擎来说，由于SparkSQL缺乏一个类似Hive Server2的SQL服务器，导致SparkSQL在易用性上比不上Hive。......
JDBC连接Hive获取YARN application_id和进度信息
仙道Bob的专栏
07-14 2492
待写.... 参考:https://blog.csdn.net/supperman_009/article/details/77508354
Hive获取查询日志的问题解析
张伟的专栏
05-12 5016
需求背景最近这段时间一直在做数据查询系统的需求，最近接到一个需求：因为HIVE查询一般需要比较久的查询时间，这期间查询人员需要知道查询的进度，需要在界面上进行进度的展示。探路过程我们查询系统连接HIVE使用的是标准的JDBC接口，在标准的JDBC接口中并没有提供这样的一个获取查询日志的接口。翻阅了很多的资料后发现其实在HIVE Server的Thrift接口中是有提供这样的接口的：1 2 3 4 ...
Java调用hiveServer2,hiveserver2详解
weixin_39790686的博客
03-16 282
1. hiveServer解释官方解释:HiveServer2 (HS2) is a server interface that enables remote clients to execute queries against Hive and retrieve the results (a more detailed intro here).The current implementation...
hive jdbc和thrift区别
04-05
Hive JDBC和Thrift是两种不同的接口用于访问Hive。下面是它们之间的区别： 1. JDBC是Java Database Connectivity的缩写，是Java中访问关系型数据库的标准接口，而Thrift是一个跨语言的RPC框架。 2. JDBC是一种面向行的接口，可以将查询结果作为行集返回，而Thrift是一种面向列的接口，可以将查询结果作为列集返回。 3. JDBC使用标准的SQL语句进行操作，而Thrift使用Hive提供的Thrift服务进行操作。 4. JDBC可以直接使用Java中的SQL库进行操作，而Thrift需要使用特定的Thrift客户端和服务端进行交互。 5. JDBC支持多种连接池技术，可以提高连接的复用率和性能，而Thrift则需要手动管理连接池。 总之，两种接口各有优缺点，具体使用哪种接口取决于使用场景和需要的功能。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值