- 博客(4)
- 收藏
- 关注
RSS订阅原创 【spark报错】 java.util.concurrent.TimeoutException: Futures timed out after [300]
问题：spark Exception in thread "main" java.util.concurrent.TimeoutException: Futures timed out after [300]在运行spark任务时，如果提示上述错误，可以分三步逐步排错：1）首先check你提交任务时的参数，一般情况下提高excutor的个数就可以避免这种错误；2）若1不行，就得改配置...
2019-08-28 15:42:33
3289
原创 spark-submit详解
问题 如何提交Spark任务呢？通常会采用以下两种方式：1）spark-shell:一般调试用；2）spark-submit：正式提交任务；简而言之：spark-submit的使用与spark集群部署模式（standalone,yarn,Mesos）有关,这里主要说前面两种：1）standalone模式：该模式需要指定spark master ipspark-submi...
2019-08-27 16:58:41
1467
原创 [hive 报错]:FAILED:SemanticException [Error 10025] Expression not in GROUP BY key
问题：FAILED: SemanticException [Error 10025]: Line 104:25 Expression not in GROUP BY key 'day'其实这个日志已经告诉你问题出在哪里了，line104对应的那个SQL语句select * from where * group by key1,key2;group by key需加上缺失的key(day...
2019-08-23 16:57:15
11379
1
原创 [hive 报错]:FAILED: SemanticException Line 0:-1 Partition not found
问题：FAILED: SemanticException Line 0:-1 Partition not found ''19''这种情况一般是你创建的表是多级分区（比如day,hour)，若操作时指定一个分区是不可以的(只加day或者hour)正确姿势：insert overwrite table test partition ( day='2019-08-22', ...
2019-08-22 15:52:45
12307
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人