executor & task lost

转至元数据结尾

• 创建： 杨晨 于 三月 23, 2018

转至元数据起始

我的程序在运行过程中会出现很多executor lost的情况，但是需要注意的是并不是每一次都会出现这样的情况，而是出现这种问题之后，重跑时可能就不会出现这种情况。

初步判断应该是程序的运行资源有问题，driver和task之间的通信出现问题。--这只是可能的情况，等待测试

结合博客任务倾斜理解，即任务执行慢就换一个节点执行

错误提示

1. executor lost

   WARN TaskSetManager: Lost task 1.0 in stage 0.0 (TID 1, aa.local):
   ExecutorLostFailure (executor lost)
   

2. task lost

   WARN TaskSetManager: Lost task 69.2 in stage 7.0 (TID 1145, 192.168.47.217):
   java.io.IOException: Connection from /192.168.47.217:55483 closed
   

3. 各种timeout

   java.util.concurrent.TimeoutException: Futures timed out after [120 second]
   
   ERROR TransportChannelHandler: Connection to /192.168.47.212:35409 
   has been quiet for 120000 ms while there are outstanding requests.
   Assuming connection is dead; please adjust spark.network.
   timeout if this is wrong

由网络或者gc引起,worker或executor没有接收到executor或task的心跳反馈。 
提高 spark.network.timeout 的值，根据情况改成300(5min)或更高。 
默认为 120(120s),配置所有网络传输的延时，如果没有主动设置以下参数，默认覆盖其属性

• spark.core.connection.ack.wait.timeout
• spark.akka.timeout
• spark.storage.blockManagerSlaveTimeoutMs
• spark.shuffle.io.connectionTimeout
• spark.rpc.askTimeout or spark.rpc.lookupTimeout