核心概念
1)StreamingContext:对所有SparkStreaming程序的入口,可以通过SparkConf/JavaSparkContext初始化。需要注意的几个点如下图所示:
2)DStream:一个DStream 代表一连串的RDDs,其中一个RDD代表某一时间间断的数据。
3)Input DStreams and Receivers
Input DStreams代表来自流数据源的输入数据流,每个input DStream (除去文件系统外) 都关联着一个Receiver对象,其接受数据源并将其存储到spark的内存中处理 。
4)Transformations和Output Operations
具体可查看官方文档
链接: Spark Streaming Programming Guide.