Spark流编程指引(三)-------------------------------------初始化StreamingContext

本文介绍了Spark Streaming的基本概念,包括如何在Maven或SBT项目中添加依赖,以及如何初始化StreamingContext。初始化时,需创建一个SparkConf对象并指定appName和master。批处理间隔、输入DStream的定义、流计算操作以及start、awaitTermination和stop方法的使用都是关键步骤。注意,一旦StreamingContext启动或停止,都无法进行反向操作,并且同一JVM上只能有一个 StreamingContext运行。
摘要由CSDN通过智能技术生成

基本概念

接下来,我们在上一节例子的基础上,来阐述Spark Streaming的基本知识。


链接

和Spark类似,Spark Streaming也包含在maven的中央仓库中。为了写基于Spark Streaming的程序,你需要为你的SBT或Maven工程分别添加以下依懒:


Maven:

<dependency>
    <groupId>org.apache.spark</groupId>
    <artifactId>spark-streaming_2.10</artifactId>
    <version>1.4.0</version>
</dependency>

SBT:

libraryDependencies += "org.apache.spark" % "spark-streaming_2.10" % "1.4.0"

为了从Kafka, Flume, 和 Kinesis等源中提取数据,你需要添加额外的依懒。

  • 1
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 1
    评论
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

self-motivation

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值