spark
踩大侠
提高自己,与各位共同进步
坚持每周更新
展开
-
sparksql Exception thrown in awaitResult
Caused by: java.sql.SQLException: org.apache.spark.SparkException: Exception thrown in awaitResult: at org.apache.hive.jdbc.HiveStatement.execute(HiveStatement.java:279) at com.lenovo.lps.farseer.priest2.ext.SparkExecDao.executeOneSql(SparkExecDao.java.原创 2021-01-21 13:55:52 · 6353 阅读 · 1 评论 -
Hivesql优化&sparksql优化梳理
Hive sql 优化方案梳理总结说明此篇文章我们将对Hivesql的优化方案进行梳理和总结,欢迎大家一起讨论,可以补充和完善的地方欢迎各位大牛积极在评论区提出,大家一起共同学习共同成长...原创 2020-05-11 18:14:27 · 1195 阅读 · 0 评论 -
关于Join的时候where在on之前和之后的效率测试
看到很多网友在说join的时候,where一定要在on的条件之前,这样可以起到优化左右,比如有同学这样说(如下截图),其实不然,对此我做了实验为验证此结论我选择了一个大表进行数据验证,进行了sparksql查询sql1是这样的,where在on前面select t1.c0, t1.c1, t1.c2 , t1.c3, t1.c4, t1.c5, t1.c6, t1.c7 , t1.c8, t1.c9 , t1.c10, t1.c11, t1.c12, t1.c13原创 2020-05-10 21:53:32 · 3736 阅读 · 0 评论 -
01-集群空间被沾满导致sparksql执行失败异常
异常log:Caused by: java.sql.SQLException: org.apache.spark.SparkException: Job aborted due to stage failure: Task 799 in stage 9537.0 failed 4 times, most recent failure: Lost task 799.3 in stage 9537.0...原创 2018-05-07 20:29:39 · 566 阅读 · 0 评论 -
mysql和hive实现关联查询
最近有个需求就是要求实现传统数据库和大数据数据库的关联查询。刚开始的时候一头雾水,感觉要实现这个需求很难,但是查了相关资料,渐渐了些思绪。起初我想到的是想实现mysql和hive实现关联查询,hive和hbase是可以整合的,如果实现了这个也就实现了mysql和hbase的关联查询,开始的时候有了一个思路,就是利用sqoop将mysql的数据表导入到hive表中,或者将hive表的原创 2016-12-24 14:55:55 · 4266 阅读 · 0 评论 -
02-sparksql Malformed ORC file、Invalid postscript.
异常重要log:Caused by: java.sql.SQLException: org.apache.spark.SparkException: Job aborted due to stage failure: Task 33 in stage 520.0 failed 4 times, most recent failure: Lost task 33.3 in stage 520.0 (...原创 2018-05-07 20:30:29 · 1044 阅读 · 0 评论