Spark处理RDD，分区数和executor的关系

在代码中将RDD进行了hash重分区成56个partition，RDD中包含从HDFS上读取的4亿条记录，每一行记录存为RDD中的一个元素。

所以最终RDD有4亿个元素，56个分区，对应spark程序中56个task，

查看任务时显示如下：

再结合spark的原理图：

共申请了201个executor（Driver端占1个，申请200个executor），

总tasks数为56，每个executor具有3个cores，理论上每个executor可以处理1-4个task（可以有一个排队处理）；

实际处理任务的时候，从201个executor中挑选出了56个executor来处理任务，

这里每个executor只处理一个task，因为申请的资源较多，但任务量并不大，所以没有达到资源瓶颈，每个executor只用了一个core的资源，所以并行度是56；

56个并行度同时往ES的一个Index里写入数据，ES集群共8台，设有8个主分片，

也就是一台数据节点处理一个分片，每个分片处理7个task的数据写入。

如果并行度增大，每个数据节点处理的tasks数过多，会造成集群崩溃宕机，所以在项目初始会进行压测。