基本概念
接下来,我们在上一节例子的基础上,来阐述Spark Streaming的基本知识。
链接
和Spark类似,Spark Streaming也包含在maven的中央仓库中。为了写基于Spark Streaming的程序,你需要为你的SBT或Maven工程分别添加以下依懒:
Maven:
<dependency>
<groupId>org.apache.spark</groupId>
<artifactId>spark-streaming_2.10</artifactId>
<version>1.4.0</version>
</dependency>
SBT:
libraryDependencies += "org.apache.spark" % "spark-streaming_2.10" % "1.4.0"
为了从Kafka, Flume, 和 Kinesis等源中提取数据,你需要添加额外的依懒。