SparkStreamingj集成Kafka的几个重要参数配置，sparkstreaming反压机制配置，动态executor

SparkStreamingj集成Kafka的几个重要参数配置

https://blog.csdn.net/u010454030/article/details/54629049

spark.streaming.kafka.maxRatePerPartition计算规则

https://blog.csdn.net/genius0182/article/details/81385096

配置sparkstreaming的反压机制，避免

1、首次启动Streaming应用，kafka保留了大量未消费历史消息，并且auto.offset.reset=latest，可以防止第一个batch接收大量消息、处理时间过长和内存溢出

2、防止kafka producer突然生产大量消息，一个batch接收到大量数据，导致batch之间接收到的数据倾斜

https://blog.csdn.net/whr_yy/article/details/81200964

executor的动态调优

https://blog.csdn.net/lsshlsw/article/details/49888773