如何选择Spark Streaming 的Reveiver和Direct模式

Receiver

这里的kafka获取数据其实是从HDFS中获取（WAL机制）（恢复时间较长）

task相当于一个线程
这里一个Executor中的多个task共同处理一个data中的数据，这里可以通过增加execut节点的方式增加task来提高消费能力

Direct

这里的Spark RDD的Partition 与 Kafka Partition 保持一致性。不能增加task数量，因为是一对一的关系
从kafka获取数据，比从hdfs获取数据，因为zero copy的方式，速度肯定更快。
1、receiver和direct如何选择？
根据业务现状：
–业务初期，消息量不是很大： 根据rdd partition，kafka partition一致性选择direct
–业务稳定期：提前考虑流量的高并发，（集群稳定性、代码的健壮性有保障），可以通过使用receiver方式提高消费能力，这里能通过启动execut来增加内存空间
业界常用： receiver方式