网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。
一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!
F
G
D
G
B
ScoketStreaming 运行结果:
Time: 1459426750000 ms
(B,1)
(G,1)
(C,1)
Time: 1459426760000 ms
(B,5)
(F,3)
(D,4)
(G,3)
(C,3)
(E,1)
**注意:如果是在本地运行的,setMaster 的参数必须为local[n],n >1,官网解释**:
When running a Spark Streaming program locally, do not use “local” or “local[1]” as the master URL. Either ofthese means that only one thread
will be used for running tasks locally. If you are using a input DStream based on a receiver (e.g. sockets, Kafka, Flume, etc.), then the single
thread will be used to run the receiver,leaving no thread for processing the received data.
当在本地运行Spark Streaming程序时,Master的URL不能设置为"local"或"local[1]",这两种设置都意味着你将会只有一个线程来运行作业,如果你的Input DStream基于一个接收器
(如Kafka,Flume等),那么只有一个线程来接收数据,而没有多余的线程来处理接收到的数据。
**如果是在集群上运行,为 Spark streaming 应分配的核数应该在大于接收器的数据,否则同样只接收了数据而没有能力处理**。
#### 3.2 文件流
**Spark Streaming 通过监控文件系统的变化,若有新文件添加,则将它读入并作为数据流**
需要注意的是:
1. 这些文件具有相同的格式
2. 这些文件通过原子移动或重命名文件的方式在dataDirectory创建
3. 一旦移动这些文件,就不能再进行修改,如果在文件中追加内容,这些追加的新数据也不会被读取。
FileStreaming:
object FileStreaming {
def main(args: Array[String]) {
val conf = new SparkConf().setMaster(“local”).setAppName(“FileStreaming”)
val sc = new StreamingContext(conf,Seconds(5))
val lines = sc.textFileStream(“/home/hadoop/wordCount”)
val words = lines.flatMap(.split(" "))
val wordCounts = words.map(x => (x , 1)).reduceByKey( + _)
sc.start()
sc.awaitTermination()
}
}
当你在文件目录里添加文件时,Spark Streaming就会自动帮你读入并计算 ,可以读取本地目录 HDFS和其他文件系统。
**注意:文件流不需要运行接收器,所以不需要分配核数**
#### 3.2 RDD队列流
使用 `StreamingContext.queueStream(queueOfRDD)` 创建基于 RDD队列 的 `DStream` ,用于调试 `Spark Streaming` 应用程序。 **QueueStream:程序每隔1秒就创建一个RDD,Streaming每隔1秒就就对数据进行处理。**
object QueueStream {
def main(args: Array[String]) {
val conf = new SparkConf().setMaster(“local[2]”).setAppName(“queueStream”)
//每1秒对数据进行处理
val ssc = new StreamingContext(conf,Seconds(1))
//创建一个能够push到QueueInputDStream的RDDs队列
val rddQueue = new mutable.SynchronizedQueueRDD[Int]
//基于一个RDD队列创建一个输入源
val inputStream = ssc.queueStream(rddQueue)
val mappedStream = inputStream.map(x => (x % 10,1))
val reduceStream = mappedStream.reduceByKey(_ + _)
reduceStream.print
ssc.start()
for(i <- 1 to 30){
rddQueue += ssc.sparkContext.makeRDD(1 to 100, 2) //创建RDD,并分配两个核数
Thread.sleep(1000)
}
ssc.stop()
}
}
输出:
Time: 1459595433000 ms //第1个输出
(4,10)
(0,10)
(6,10)
(8,10)
(2,10)
(1,10)
(3,10)
(7,10)
(9,10)
(5,10)
…
…
Time: 1459595463000 ms //第30个输出
(4,10)
(0,10)
(6,10)
(8,10)
(2,10)
(1,10)
(3,10)
(7,10)
(9,10)
(5,10)
#### 3.4 带状态的处理 StateFull
**updateStateByKey** 操作:使用updateStateByKey操作的地是为了保留key的状态,并能持续的更新;使用此功能有如下两个步骤:
1. 定义状态,这个状态可以是任意的数据类型
2. 定义状态更新函数, 指定一个函数根据之前的状态来确定如何更新状态。
同样以 wordCount 作为例子,不同的是每一次的输出都会累计之前的 wordCount
StateFull:
object StateFull {
def main(args: Array[String]) {
//定义状态更新函数
val updateFunc = (values: Seq[Int], state: Option[Int]) => {
val currentCount = values.foldLeft(0)(_ + )
val previousCount = state.getOrElse(0)
Some(currentCount + previousCount)
}
val conf = new SparkConf().setMaster(“local[2]”).setAppName(“stateFull”)
val sc = new StreamingContext(conf, Seconds(5))
sc.checkpoint(“.”) //设置检查点,存储位置是当前目录,检查点具有容错机制
val lines = sc.socketTextStream(“master”, 9999)
val words = lines.flatMap(.split(" "))
val wordDstream = words.map(x => (x, 1))
val stateDstream = wordDstream.updateStateByKeyInt
stateDstream.print()
sc.start()
sc.awaitTermination()
}
}
先运行之前 GenerateChar 来产生字母,再运行 StateFull,结果如下:
Time: 1459597690000 ms
(B,3)
(F,1)
(D,1)
(G,1)
(C,1)
Time: 1459597700000 ms //会累计之前的值
既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,涵盖了95%以上大数据知识点,真正体系化!
由于文件比较多,这里只是将部分目录截图出来,全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频,并且后续会持续更新
t-1715705059288)]
既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,涵盖了95%以上大数据知识点,真正体系化!
由于文件比较多,这里只是将部分目录截图出来,全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频,并且后续会持续更新