Spark Streaming空DStream判断

在Spark Streaming中对空DStream的判断，最终都是对空RDD的判断。一般有三种方法:计数(RDD.count),分区(RDD.partitions.length),计数+分区(RDD.isEmpty)。

RDD.count
适用于所有类型的DStream，但由于是Action算子，会触发SparkContext.runJob方法，从而导致Job的提交和运行，当数据量较大时，代价也比较大。不推荐。

RDD.partitions.length
通过RDD的分区数来判断，但不适用于KafkaDirectStream。当Batch为空时，KafkaDirectStream的RDD.partitions数组中有KafkaRDDPartition对象，维护了每一个Kafka Topic Partition的fromOffset、untilOffset等。适用于FileDStream、SocketDStream。

RDD.isEmpty
先看看RDD.isEmpty的实现:

def isEmpty(): Boolean = withScope {
    //没有分区或没有数据时则返回true
    partitions.length == 0 || take(1).length == 0
}

先判断是否有分区，再判断是否有数据。这才是我们想要的。生产中应当用此方法。