SparkStream output操作

DStream中的所有计算，都是由output操作触发的，比如print(),如果没有任何output操作，那么，压根就不会执行定义的计算逻辑

 

此外，即使你使用了foreachRDD output操作，也必须在离路面对RDD执行action操作，才能触发对每一个batch的计算逻辑，否则，光有foreachRDD output操作，在里面没有对RDD执行action操作，也不会有任何逻辑被触发

 

foreachRDD详解

误区一：在RDD的foreach的操作外部，创建Connection

这种方式是错误的，因为它会导致Connection对象被序列化后传输到每个Task中。而这种Connection对象，实际上一般是不支持序列化的，也就无法被传输

 

合理方式一：使用RDD的foreachPartition操作，并且在该操作内部，创建Connection对象，这就相当于是，为RDD的每个partition创建一个Connection对象，节省资源多了