anlu的博客

总论：SparkStreaming是一个流计算引擎，它会按照时间段来计算数据，比如每一秒钟计算一次数据，它是基于时间单位的，与内容无关 数据的来源：有很多，可以是日志数据，电商数据，app等， 架构：SparkStreaming 一般是和Kafka配合使用，熟悉Kafka的朋友都知道，Kafka是会把数据放到磁盘上的，所以当SparkStreaming与Kafka配合使用的时候就会本来把基于流

public class WordCountOnline { public static void main(String[] args) { /** * 第一步，配置SparkConf * 1.至少两条线程：因为SparkStreaming应用程序在运行的时候至少有一条线程用于不断的循环接收 * 数据，并且至少有一条线程用于处理接收的数据(否则的话无法有线程用于处理数据，

从上面的程序我们看出sparkStreaming其实是将一段时间间隔的数据作为一个整体，然后这段时间内的数据就可以作为rdd来进行计算,这也是SparkStreaming的核心，这一节介绍几类，在sparkStreaming中源码的解读 1.StreamingContext：先看下官方的解释 /** * Main entry point for Spark Streaming functio

public class WordCountOnline2 { public static void main(String[] args) { final SparkConf conf=new SparkConf().setAppName("SparkStreamingOnHDFS"); final String checkpointDirectory="hdfs:///liberar