- 博客(4)
- 收藏
- 关注
原创 【spark报错】 java.util.concurrent.TimeoutException: Futures timed out after [300]
问题:spark Exception in thread "main" java.util.concurrent.TimeoutException: Futures timed out after [300]在运行spark任务时,如果提示上述错误,可以分三步逐步排错:1)首先check你提交任务时的参数,一般情况下提高excutor的个数就可以避免这种错误;2)若1不行,就得改配置...
2019-08-28 15:42:33
3335
原创 spark-submit详解
问题 如何提交Spark任务呢?通常会采用以下两种方式:1)spark-shell:一般调试用;2)spark-submit:正式提交任务;简而言之:spark-submit的使用与spark集群部署模式(standalone,yarn,Mesos)有关,这里主要说前面两种:1)standalone模式:该模式需要指定spark master ipspark-submi...
2019-08-27 16:58:41
1476
原创 [hive 报错]:FAILED:SemanticException [Error 10025] Expression not in GROUP BY key
问题:FAILED: SemanticException [Error 10025]: Line 104:25 Expression not in GROUP BY key 'day'其实这个日志已经告诉你问题出在哪里了,line104对应的那个SQL语句select * from where * group by key1,key2;group by key需加上缺失的key(day...
2019-08-23 16:57:15
11420
1
原创 [hive 报错]:FAILED: SemanticException Line 0:-1 Partition not found
问题:FAILED: SemanticException Line 0:-1 Partition not found ''19''这种情况一般是你创建的表是多级分区(比如day,hour),若操作时指定一个分区是不可以的(只加day或者hour)正确姿势:insert overwrite table test partition ( day='2019-08-22', ...
2019-08-22 15:52:45
12357
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人