api文档数据量太大崩溃_Spark执行错误-->数据量大时导致yarn崩溃

一、问题现象说明：

1， IQL在执行数据量超过1亿条数据的时候，执行不出来结果

2， 在执行超过四秒以后Yarn的node节点开始出问题

3，关闭执行以后查看CPU、内存 资源没有被占满

二、分析问题思路：

1， 通过 client 模式 将数据打印的日志展现出来，并重定向到本地保存日志

2，查看日志中的内容分析Error 如下：

ERROR TransportRequestHandler: Error sending result StreamResponse{streamId=/jars/iql-engine.jar, byteCount=145685437, body=FileSegmentManagedBuffer{file=/home/app/iqlEngine/iql-engine.jar, offset=0, length=145685437}} to /79.12.72.8:6862; closing connection

java.io.IOException: Connection reset by peer

该ERROR是报连接错误，有些错误信息可能是之前的问题导致的后果，所以继续往前查看信息

3，查看前面的WARN信息如下：

WARN YarnSchedulerBackend$YarnSchedulerEndpoint: Requesting driver to remove executor 22 for reason Container marked as failed: container_1555493438863_1260_01_000023 on    host: centos5. Exit status: 1. Diagno