Spark学习笔记：StreamingContext详解

SreamingContext详解

1.创建StreamingContext的方式

创建StreamingContext的方式有两种

val conf=new SparkConf().setAppName(appName).setMaster(master);
val ssc=new StreamingContext(conf,Seconds(1));

还可以通过已有的SparkContext来创建

val sc=new SparkContext(conf)
val ssc=new StreamingContext(sc,Seconds(1));

参数解析
appName：是用来在Spark UI上显示的应用名称
master：是一个Spark、Mesos或者Yarn集群的URL，或者是local[*]，星号代表需要使用CPU的核心数
batch interval：根据应用程序的延迟要求以及可用的集群资源来设置

2.定义StreamingContext之后必须要做的事

（1）通过创建输入DStream来创建输入数据源
（2）通过对DStream定义transformation和output算子操作，来定义实时计算逻辑
（3）调用StreamingContext的start()方法，来开始实时处理数据
（4）调用StreamingContext的awaitTermination()方法，来等待应用程序的终止
（5）也可以调用StreamingContext的stop()方法，来停止应用程序

<