java程序调用hive查询的一个异常

最新推荐文章于 2024-03-31 22:16:04 发布
最新推荐文章于 2024-03-31 22:16:04 发布
阅读量2.8k 收藏
点赞数
分类专栏： 大数据 文章标签： java hive 异常
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/youzhouliu/article/details/52300082
版权

最近在java程序中调用hive做查询时，碰到一个异常，被困扰了许久，经过几番调试，逐步把问题定位清楚。

在异常描述前先给出异常信息：

java.sql.SQLException: Error while processing statement: FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.tez.TezTask
	at org.apache.hive.jdbc.HiveStatement.execute(HiveStatement.java:283) ~[hive-jdbc-2.0.1.jar:2.0.1]
	at org.apache.hive.jdbc.HiveStatement.executeQuery(HiveStatement.java:378) ~[hive-jdbc-2.0.1.jar:2.0.1]
	at com.toucha.analytics.common.dao.ScanlogDao.findNextScanlogs(ScanlogDao.java:109) ~[analytics-common-0.0.1-SNAPSHOT.jar:na]
	at com.toucha.analytics.service.ScanReportService.getRawAct(ScanReportService.java:415) [classes/:na]
	at com.toucha.analytics.web.ReportController.getRawAct(ReportController.java:261) [classes/:na]
	at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) ~[na:1.8.0_25]
	at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62) ~[na:1.8.0_25]
	at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) ~[na:1.8.0_25]
	at java.lang.reflect.Method.invoke(Method.java:483) ~[na:1.8.0_25]
	at org.springframework.web.method.support.InvocableHandlerMethod.doInvoke(InvocableHandlerMethod.java:222) [spring-web-4.2.3.RELEASE.jar:4.2.3.RELEASE]
	at org.springframework.web.method.support.InvocableHandlerMethod.invokeForRequest(InvocableHandlerMethod.java:137) [spring-web-4.2.3.RELEASE.jar:4.2.3.RELEASE]
	at org.springframework.web.servlet.mvc.method.annotation.ServletInvocableHandlerMethod.invokeAndHandle(ServletInvocableHandlerMethod.java:110) [spring-webmvc-4.2.3.RELEASE.jar:4.2.3.RELEASE]
	at org.springframework.web.servlet.mvc.method.annotation.RequestMappingHandlerAdapter.invokeHandlerMethod(RequestMappingHandlerAdapter.java:814) [spring-webmvc-4.2.3.RELEASE.jar:4.2.3.RELEASE]
	at org.springframework.web.servlet.mvc.method.annotation.RequestMappingHandlerAdapter.handleInternal(RequestMappingHandlerAdapter.java:737) [spring-webmvc-4.2.3.RELEASE.jar:4.2.3.RELEASE]
	at org.springframework.web.servlet.mvc.method.AbstractHandlerMethodAdapter.handle(AbstractHandlerMethodAdapter.java:85) [spring-webmvc-4.2.3.RELEASE.jar:4.2.3.RELEASE]
	at org.springframework.web.servlet.DispatcherServlet.doDispatch(DispatcherServlet.java:959) [spring-webmvc-4.2.3.RELEASE.jar:4.2.3.RELEASE]
	at org.springframework.web.servlet.DispatcherServlet.doService(DispatcherServlet.java:893) [spring-webmvc-4.2.3.RELEASE.jar:4.2.3.RELEASE]
	at org.springframework.web.servlet.FrameworkServlet.processRequest(FrameworkServlet.java:970) [spring-webmvc-4.2.3.RELEASE.jar:4.2.3.RELEASE]
	at org.springframework.web.servlet.FrameworkServlet.doPost(FrameworkServlet.java:872) [spring-webmvc-4.2.3.RELEASE.jar:4.2.3.RELEASE]
	at javax.servlet.http.HttpServlet.service(HttpServlet.java:707) [servlet-api-3.1.jar:3.1.0]
	at org.springframework.web.servlet.FrameworkServlet.service(FrameworkServlet.java:846) [spring-webmvc-4.2.3.RELEASE.jar:4.2.3.RELEASE]
	at javax.servlet.http.HttpServlet.service(HttpServlet.java:790) [servlet-api-3.1.jar:3.1.0]
	at org.eclipse.jetty.servlet.ServletHolder.handle(ServletHolder.java:812) [jetty-servlet-9.2.14.v20151106.jar:9.2.14.v20151106]
	at org.eclipse.jetty.servlet.ServletHandler$CachedChain.doFilter(ServletHandler.java:1669) [jetty-servlet-9.2.14.v20151106.jar:9.2.14.v20151106]
	at com.toucha.analytics.filter.AuthenticationFilter.doFilter(AuthenticationFilter.java:48) [classes/:na]
	at org.eclipse.jetty.servlet.ServletHandler$CachedChain.doFilter(ServletHandler.java:1652) [jetty-servlet-9.2.14.v20151106.jar:9.2.14.v20151106]
	at com.toucha.analytics.filter.GZipServletFilter.doFilter(GZipServletFilter.java:45) [classes/:na]
	at org.eclipse.jetty.servlet.ServletHandler$CachedChain.doFilter(ServletHandler.java:1652) [jetty-servlet-9.2.14.v20151106.jar:9.2.14.v20151106]
	at org.springframework.web.filter.CharacterEncodingFilter.doFilterInternal(CharacterEncodingFilter.java:121) [spring-web-4.2.3.RELEASE.jar:4.2.3.RELEASE]
	at org.springframework.web.filter.OncePerRequestFilter.doFilter(OncePerRequestFilter.java:107) [spring-web-4.2.3.RELEASE.jar:4.2.3.RELEASE]
	at org.eclipse.jetty.servlet.ServletHandler$CachedChain.doFilter(ServletHandler.java:1652) [jetty-servlet-9.2.14.v20151106.jar:9.2.14.v20151106]
	at org.apache.logging.log4j.web.Log4jServletFilter.doFilter(Log4jServletFilter.java:71) [log4j-web-2.4.1.jar:2.4.1]
	at org.eclipse.jetty.servlet.ServletHandler$CachedChain.doFilter(ServletHandler.java:1652) [jetty-servlet-9.2.14.v20151106.jar:9.2.14.v20151106]
	at org.eclipse.jetty.websocket.server.WebSocketUpgradeFilter.doFilter(WebSocketUpgradeFilter.java:224) [websocket-server-9.2.14.v20151106.jar:9.2.14.v20151106]
	at org.eclipse.jetty.servlet.ServletHandler$CachedChain.doFilter(ServletHandler.java:1652) [jetty-servlet-9.2.14.v20151106.jar:9.2.14.v20151106]
	at org.eclipse.jetty.servlet.ServletHandler.doHandle(ServletHandler.java:585) [jetty-servlet-9.2.14.v20151106.jar:9.2.14.v20151106]
	at org.eclipse.jetty.server.handler.ScopedHandler.handle(ScopedHandler.java:143) [jetty-server-9.2.14.v20151106.jar:9.2.14.v20151106]
	at org.eclipse.jetty.security.SecurityHandler.handle(SecurityHandler.java:577) [jetty-security-9.2.14.v20151106.jar:9.2.14.v20151106]
	at org.eclipse.jetty.server.session.SessionHandler.doHandle(SessionHandler.java:223) [jetty-server-9.2.14.v20151106.jar:9.2.14.v20151106]
	at org.eclipse.jetty.server.handler.ContextHandler.doHandle(ContextHandler.java:1127) [jetty-server-9.2.14.v20151106.jar:9.2.14.v20151106]
	at org.eclipse.jetty.servlet.ServletHandler.doScope(ServletHandler.java:515) [jetty-servlet-9.2.14.v20151106.jar:9.2.14.v20151106]
	at org.eclipse.jetty.server.session.SessionHandler.doScope(SessionHandler.java:185) [jetty-server-9.2.14.v20151106.jar:9.2.14.v20151106]
	at org.eclipse.jetty.server.handler.ContextHandler.doScope(ContextHandler.java:1061) [jetty-server-9.2.14.v20151106.jar:9.2.14.v20151106]
	at org.eclipse.jetty.server.handler.ScopedHandler.handle(ScopedHandler.java:141) [jetty-server-9.2.14.v20151106.jar:9.2.14.v20151106]
	at org.eclipse.jetty.server.handler.ContextHandlerCollection.handle(ContextHandlerCollection.java:215) [jetty-server-9.2.14.v20151106.jar:9.2.14.v20151106]
	at org.eclipse.jetty.server.handler.HandlerCollection.handle(HandlerCollection.java:110) [jetty-server-9.2.14.v20151106.jar:9.2.14.v20151106]
	at org.eclipse.jetty.server.handler.HandlerWrapper.handle(HandlerWrapper.java:97) [jetty-server-9.2.14.v20151106.jar:9.2.14.v20151106]
	at org.eclipse.jetty.server.Server.handle(Server.java:499) [jetty-server-9.2.14.v20151106.jar:9.2.14.v20151106]
	at org.eclipse.jetty.server.HttpChannel.handle(HttpChannel.java:311) [jetty-server-9.2.14.v20151106.jar:9.2.14.v20151106]
	at org.eclipse.jetty.server.HttpConnection.onFillable(HttpConnection.java:257) [jetty-server-9.2.14.v20151106.jar:9.2.14.v20151106]
	at org.eclipse.jetty.io.AbstractConnection$2.run(AbstractConnection.java:544) [jetty-io-9.2.14.v20151106.jar:9.2.14.v20151106]
	at org.eclipse.jetty.util.thread.QueuedThreadPool.runJob(QueuedThreadPool.java:635) [jetty-util-9.2.14.v20151106.jar:9.2.14.v20151106]
	at org.eclipse.jetty.util.thread.QueuedThreadPool$3.run(QueuedThreadPool.java:555) [jetty-util-9.2.14.v20151106.jar:9.2.14.v20151106]
	at java.lang.Thread.run(Thread.java:745) [na:1.8.0_25]

该异常出现的原因是传入hive中执行的sql中有join操作，传入的sql形式如下：

SELECT t1.a,t1.b,t1.c,t1.d FROM  ( SELECT a,b,c,d FROM table1 LIMIT 500) t1 LEFT JOIN table2 t2 ON  t1.a=t2.a

该脚本直接在hive中可以执行成功，但通过jvm服务连接hive执行就出现异常了。

查找了一些资料和通过自己调试，大概得出的结论是通过jvm服务器调用hive执行sql有一些功能上的差异，不能夸节点做多表关联查询。

最后自己的解决办法是将查询分开执行，将最后结果在java程序中做合并。办法不是很合理，但也是一个解决办法。

youzhouliu
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
java.sql.SQLException: Error while processing statement: FAILED: Execution Error, return code 2 from...
weixin_30532369的博客
12-23 6935
执行Hive查询： Console是这样报错的 java.sql.SQLException: Error while processing statement: FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask at org.apache.hive.jdbc.H...
java hive查询,hive查询报错
weixin_39788131的博客
03-13 708
我在每次添加where条件，或者使用子查询时，都会报这个错误。以下是报错详情java.lang.Exception: java.sql.SQLException: Error while processing statement: FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.tez.TezTa...
hive中的一种假NULL现象
anbanrong2408的博客
10-20 192
使用hive时，我们偶尔会遇到这样的问题，当你将结果输出到屏幕时，查出的数据往往显示为null，但是当你将结果输出到文本时，却显示为空（即未填充），这是为什么呢？ 在hive中有一种假NULL，它看起来和NULL一样，但是实际却不是NULL。 比如下面这样： [hdfs@dsdc04 ~]$ cat /data6/chenye/baidu_djzs_sessionid/test\N...
hive sql 报错后继续执行_Hplsql报错：...HiveSQLExpection:Error while compiling statement:No privilege 'Select' ...
weixin_39947351的博客
12-31 161
实践hplsql时，遇到的问题总结一下，若有不对的地方，欢迎交流。一、Hplsql简介二、hpsql的配置文件为hplsql-site.xml2.1 常见的选项列表：hplsql.conn.default指定默认的连接配置文件，默认值为hive2connhplsql.conn.hive2conn指定HiveServer2JDBC连接hplsql.conn.init.hive2conn定义执行SQL...
Error while processing statement: FAILED: Execution Error, return code 1 from org.apache.hadoop.hive
最新发布
weixin_45420890的博客
03-31 588
Hive 在处理 join 操作时，会根据表的大小进行优化选择合适的 join 算法。对于一个相对较小的表，Hive 会选择使用 Map Join 来加速处理，这种方式将小表的数据加载到内存中，以提高查询效率。然而，当内存无法容纳全部小表数据时，就会出现内存溢出错误。
java调用hive需要的jar
03-17
java调用hive需要的jar
使用javaJDBC连接hive数据，实现简单的操作！
05-27
使用javaJDBC连接hive数据，实现简单的操作！
java_hive简单查询
04-07
1.通过java查hive hive查询 2.简单查询及jar包
hive-java开发驱动包
05-19
hive java开发驱动包列表hive-common-2.3.4.jarhive-exec-2.3.4.jarhive-jdbc-2.3.4.jarhive-llap-client-2.3.4.jarhive-llap-common-2.3.4.jarhive-llap-server-2.3.4.jarhive-llap-tez-2.3.4.jarhive-metastore-...
java访问hive数据库所需全部jar包
08-27
内网开发的，不使用maven做项目管理的，直接拿来用，包括了所有需要的jar包（如基础包httpclient），hive是1.2版本的
HiveSQL 问题 “Error while processing statement: FAILED: Execution Error, return code 2“
weixin_52681339的博客
11-28 8670
项目场景： 提示：这里简述项目相关背景： 今天写HiveSQL的时候执行一部分代码,执行后报的的都是同样的错误 问题描述： 提示：这里描述项目中遇到的问题： Error while processing statement: FAILED: Execution Error, return code 2 from org.apache.hadoop.hive 解决方案： 提示：这里填写该问题的具体解决方案： 后来发现,这是一个MR执行错误, 原因这里的程序需要走MR,而我手动开启了本地模式, 现在
Error while processing statement: FAILED: Execution Error, return code 2 from org.apache.hadoop.hive
qq_39767779的博客
07-10 1万+
org.apache.hive.service.cli.HiveSQLException: Error while processing statement: FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask at org.apache.hive.service.cli....
hive中出现rg.apache.hadoop.hive.ql.exec.mr.MapRedTask错误
小猪猪and小马马的博客
12-04 9217
困扰了好久啊啊 啊啊啊啊啊啊啊 出现异常java.sql.SQLException: Error while processing statement: FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask    到hive后台查看日志    Caused by:
Hive客户端JDBC连接操作
会飞的猪的 博客
06-29 1万+
创建maven工程pom.xml------------------------------<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"  xsi:schemaLocation="http://maven.apache.org/P...
HiveSQLException: Error while compiling statement: No privilege 'Create' found for outputs{database}
努力的凹凸曼的博客
05-24 1万+
今天用Hive的JDBC实例时出现了HiveSQLException: Error while compiling statement: No privilege ‘Create’ found for outputs { database:default }的错误，日志如下。 **org.apache.hive.service.cli.HiveSQLException: Error whil...
Error: Error while processing statement: FAILED: Execution Error, return code 1 from org.apache.hado
热门推荐
Jamie's Blogs
10-18 2万+
@[TOC](Error: Error while processing statement: FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.tez.TezTask (state=08S01,code=1)) Hive测试环境下报错 Error: Error while processing s...
hive Error while compiling statement: FAILED: ClassCastException org.apache.hadoop.hive.serde2.objec
回到原点
06-14 3988
hive 报错
用java编写一个hive万能工具类
05-26
以下是一个简单的 Java 工具类，可以用于Hive的基本操作： ```java import java.sql.*; public class HiveUtil { private static final String DRIVER_NAME = "org.apache.hive.jdbc.HiveDriver"; private static final String URL = "jdbc:hive2://localhost:10000/default"; private static final String USER = "hiveuser"; private static final String PASSWORD = "hivepassword"; public static Connection getConnection() throws ClassNotFoundException, SQLException { Class.forName(DRIVER_NAME); Connection conn = DriverManager.getConnection(URL, USER, PASSWORD); return conn; } public static void execute(String sql) throws ClassNotFoundException, SQLException { Connection conn = null; Statement stmt = null; try { conn = getConnection(); stmt = conn.createStatement(); stmt.execute(sql); } finally { close(conn, stmt, null); } } public static ResultSet query(String sql) throws ClassNotFoundException, SQLException { Connection conn = null; Statement stmt = null; ResultSet rs = null; try { conn = getConnection(); stmt = conn.createStatement(); rs = stmt.executeQuery(sql); return rs; } catch (SQLException e) { close(conn, stmt, rs); throw e; } } public static void close(Connection conn, Statement stmt, ResultSet rs) { try { if (rs != null) { rs.close(); } if (stmt != null) { stmt.close(); } if (conn != null) { conn.close(); } } catch (Exception e) { e.printStackTrace(); } } } ``` 通过该工具类，您可以执行以下操作： - 获取Hive连接：getConnection() - 执行SQL语句：execute(sql) - 查询SQL语句：query(sql) 示例： ```java public static void main(String[] args) throws ClassNotFoundException, SQLException { // 获取Hive连接 Connection conn = HiveUtil.getConnection(); // 创建表 String createTableSql = "CREATE TABLE IF NOT EXISTS test_table (id INT, name STRING)"; HiveUtil.execute(createTableSql); // 插入数据 String insertDataSql = "INSERT INTO TABLE test_table VALUES (1, 'Hello'), (2, 'World')"; HiveUtil.execute(insertDataSql); // 查询数据 String querySql = "SELECT * FROM test_table"; ResultSet rs = HiveUtil.query(querySql); while (rs.next()) { int id = rs.getInt("id"); String name = rs.getString("name"); System.out.println("id=" + id + ", name=" + name); } // 关闭连接 HiveUtil.close(conn, null, rs); } ``` 请注意，此代码仅作为示例。在实际应用中，您需要根据自己的需求进行更改和调整。同时，为了保证安全和性能，请勿直接在代码中硬编码密码。最好将其存储在配置文件或其他安全存储中，并使用相应的方法获取它们。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值