增加spark 并行度方式

1 Spark Streaming增大任务并发度
Q： 在Spark Streaming中，增大任务并发度的方法有哪些？
A：s1 core的个数: task线程数，也就是--executor-cores
s2 repartition
s3 Streaming + Kafka，Direct方式，则增加partition分区数
s4 Streaming + Kafka，Receiver方式，则增加Receiver个数
s5 reduceByKey和reduceByKeyAndWindow传入第二个参数


1 Spark Streaming增大任务并发度
Q： 在Spark Streaming中，增大任务并发度的方法有哪些？
A：s1 core的个数: task线程数，也就是--executor-cores
s2 repartition
s3 Streaming + Kafka，Direct方式，则增加partition分区数
s4 Streaming + Kafka，Receiver方式，则增加Receiver个数
s5 reduceByKey和reduceByKeyAndWindow传入第二个参数

1.1 解析

s1 & s2:
RDD在计算的时候，每个分区都会起一个task，所以RDD的分区数目决定了总的task数据。
申请的计算节点（Executor）数目和每个计算节点核数，决定了你同一时刻可以并行执行的task。
e g:
RDD有100个分区，那么计算