sparkstreaming+Kafka性能优化

（一）sparkstreaming参数理解

使用SparkStreaming集成kafka时有几个比较重要的参数：

（1）spark.streaming.stopGracefullyOnShutdown （true / false）默认fasle

确保在kill任务时，能够处理完最后一批数据，再关闭程序，不会发生强制kill导致数据处理中断，没处理完的数据丢失

（2）spark.streaming.backpressure.enabled （true / false） 默认false

开启后spark自动根据系统负载选择最优消费速率

（3）spark.streaming.backpressure.initialRate （整数） 默认直接读取所有

在（2）开启的情况下，限制第一次批处理应该消费的数据，因为程序冷启动队列里面有大量积压，防止第一次全部读取，造成系统阻塞

（4）spark.streaming.kafka.maxRatePerPartition （整数） 默认直接读取所有

限制每秒每个消费线程读取每个kafka分区最大的数据量

一个启动spark任务的python脚本：

import sys,os
print("start spark tasks")

os.environ["PYSPARK_PYTHON"]="/usr/lib/python3/bin/python"

os.system('/opt/spark/spark-2.1.3-bin-hadoop2.7/bin/spark-submit '
          ' --master  local[*] '
           ' --total-executor-cores 100 '
          ' --conf "spark.streaming.backpressure.enabled=true" '
          ' --conf "spark.streaming.backpressure.initialRate=1000" '
          ' --conf "spark.executor.extraJavaOptions=-XX:+UseConcMarkSweepGC" '
          ' --conf "spark.streaming.backpressure.enabled=true" '
          ' --conf  "spark.streaming.kafka.maxRatePerPartition=200000"'
          ' --jars  /jars/spark-streaming-kafka-0-8-assembly_2.11-2.1.3.jar '
          ' --executor-memory 150G'
          ' /code/src/com/Mysql/main.py'
          )

print("finish")

（二）测试问题记录

1.冷启动第一批数据划分过大，容易内存泄露从而程序异常退出

Extra为写入数据库的时间，configvalue为mysql日志产生时间，15分钟处理了将近2个小时间的数据。

参数：

sc=2s,其余参数置空为spark默认参数，从前5天的数据开始读取（kafka默认存储7天数据）。

我们将从kafka各个分区取得offset记录如表，可以观察到spark接kafka的数据只有个别分区才有，其他分区一直未0，这个是数据倾斜，问题在于maxwell生产者的向kafka只对个别分区抛数据时，稍后再说。我们先说冷启动，第一批数据量很大，后续很多任务在排队。

可以看到，冷启动，第一批数据量很大，后续很多任务在排队。

解决：