问题:spark Exception in thread "main" java.util.concurrent.TimeoutException: Futures timed out after [300]
在运行spark任务时,如果提示上述错误,可以分三步逐步排错:
1)首先check你提交任务时的参数,一般情况下提高excutor的个数就可以避免这种错误;
2)若1不行,就得改配置了。可以改下defalut conf,将超时改长;在spark-summit 提交命令时加上--conf spark.network.timeout=1800(当然可以根据你的需要给相应的值)
3) 若2不行,可以考虑是否是时间不一致的问题。需要同步时钟,并且设置一个crontab 每分钟同步一次时间;