【Spark Streaming】（二）DStream 编码实战_简述dstream的编程模型(1)

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

需要这份系统化资料的朋友，可以戳这里获取

**ScoketStreaming:**

object ScoketStreaming {
def main(args: Array[String]) {
//创建一个本地的StreamingContext，含2个工作线程
val conf = new SparkConf().setMaster(“local[2]”).setAppName(“ScoketStreaming”)
val sc = new StreamingContext(conf,Seconds(10)) //每隔10秒统计一次字符总数
//创建珍一个DStream，连接master:9998
val lines = sc.socketTextStream(“master”,9998)
val words = lines.flatMap(.split(" "))
val wordCounts = words.map(x => (x , 1)).reduceByKey( + _)
wordCounts.print()
sc.start() //开始计算
sc.awaitTermination() //通过手动终止计算，否则一直运行下去
}
}

**运行结果：**


GenerateChar 产生的数据如下：

Got client connected from :/192.168.56.137
C
G
B
C
F
G
D
G
B

ScoketStreaming 运行结果：

---

Time: 1459426750000 ms

(B,1)
(G,1)
(C,1)

Time: 1459426760000 ms

(B,5)
(F,3)
(D,4)
(G,3)
(C,3)
(E,1)

**注意：如果是在本地运行的，setMaster 的参数必须为local[n]，n >1,官网解释**：

When running a Spark Streaming program locally, do not use “local” or “local[1]” as the master URL. Either ofthese means that only one thread
will be used for running tasks locally. If you are using a input DStream based on a receiver (e.g. sockets, Kafka, Flume, etc.), then the single
thread will be used to run the receiver,leaving no thread for processing the received data.

当在本地运行Spark Streaming程序时,Master的URL不能设置为"local"或"local[1]",这两种设置都意味着你将会只有一个线程来运行作业，如果你的Input DStream基于一个接收器
（如Kafka，Flume等），那么只有一个线程来接收数据，而没有多余的线程来处理接收到的数据。

**如果是在集群上运行，为 Spark streaming 应分配的核数应该在大于接收器的数据，否则同样只接收了数据而没有能力处理**。


#### 3.2 文件流


**Spark Streaming 通过监控文件系统的变化，若有新文件添加，则将它读入并作为数据流**


需要注意的是：


1. 这些文件具有相同的格式
2. 这些文件通过原子移动或重命名文件的方式在dataDirectory创建
3. 一旦移动这些文件，就不能再进行修改，如果在文件中追加内容，这些追加的新数据也不会被读取。


FileStreaming：

object FileStreaming {
def main(args: Array[String]) {
val conf = new SparkConf().setMaster(“local”).setAppName(“FileStreaming”)
val sc = new StreamingContext(conf,Seconds(5))
val lines = sc.textFileStream(“/home/hadoop/wordCount”)
val words = lines.flatMap(.split(" "))
val wordCounts = words.map(x => (x , 1)).reduceByKey( + _)
sc.start()
sc.awaitTermination()
}
}

当你在文件目录里添加文件时，Spark Streaming就会自动帮你读入并计算 ，可以读取本地目录 HDFS和其他文件系统。  
 **注意：文件流不需要运行接收器，所以不需要分配核数**


#### 3.2 RDD队列流


使用 `StreamingContext.queueStream(queueOfRDD)` 创建基于 RDD队列 的 `DStream` ，用于调试 `Spark Streaming` 应用程序。 **QueueStream：程序每隔1秒就创建一个RDD，Streaming每隔1秒就就对数据进行处理。**

object QueueStream {
def main(args: Array[String]) {
val conf = new SparkConf().setMaster(“local[2]”).setAppName(“queueStream”)
//每1秒对数据进行处理
val ssc = new StreamingContext(conf,Seconds(1))
//创建一个能够push到QueueInputDStream的RDDs队列
val rddQueue = new mutable.SynchronizedQueueRDD[Int]
//基于一个RDD队列创建一个输入源
val inputStream = ssc.queueStream(rddQueue)
val mappedStream = inputStream.map(x => (x % 10,1))
val reduceStream = mappedStream.reduceByKey(_ + _)
reduceStream.print
ssc.start()
for(i <- 1 to 30){
rddQueue += ssc.sparkContext.makeRDD(1 to 100, 2) //创建RDD，并分配两个核数
Thread.sleep(1000)
}
ssc.stop()
}
}

输出：

---

Time: 1459595433000 ms //第1个输出

(4,10)
(0,10)
(6,10)
(8,10)
(2,10)
(1,10)
(3,10)
(7,10)
(9,10)
(5,10)
…
…

Time: 1459595463000 ms //第30个输出

(4,10)
(0,10)
(6,10)
(8,10)
(2,10)
(1,10)
(3,10)
(7,10)
(9,10)
(5,10)

#### 3.4 带状态的处理 StateFull


**updateStateByKey** 操作：使用updateStateByKey操作的地是为了保留key的状态，并能持续的更新；使用此功能有如下两个步骤：


1. 定义状态，这个状态可以是任意的数据类型
2. 定义状态更新函数， 指定一个函数根据之前的状态来确定如何更新状态。


同样以 wordCount 作为例子，不同的是每一次的输出都会累计之前的 wordCount


StateFull：

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。**

需要这份系统化资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！