Spark Streaming之Receiver和Direct区别

Receiver（过时了）

1. receiver运行在executor中，是一个常驻内存的进程。
2. 默认存储级别：MEMORY_AND_DISK_SER_2。
3. 由于使用的high level的API，offset都存在zookeeper中，用户不用关心offset。
4. 当receiver接收到数据，此时若driver端挂了，相应的executor也会挂掉，此时，也会造成数据的丢失。为了避免数据丢失，引入了WAL机制（即日志记录，存在HDFS上），但是使能WAL机制，可修改存储级别为：MEMORY_AND_DISK_SER，会造成数据延迟，会减少数据吞吐量。
5. Spark分区与Kafka分区不对应，没有直接关系。

Direct

1. 不需要Receiver常驻进程。
2. Topic的partition和RDD的partition是1:1，即Spark分区与Kafka数据分区一一对应。
3. 自己手工维护offset。