![](https://img-blog.csdnimg.cn/20201014180756923.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Streaming
dumosin
这个作者很懒,什么都没留下…
展开
-
Spark Streaming 初运行
Spark Streaming 是Spark的核心API的扩展,它集成了扩展、高吞吐和容错的数据流处理功能。Streaming可以从多方获取到数据来源,例如Kafka,Flume,或者TCP Sockets等。再利用复杂的算法获取到数据推送到文件系统,数据库等持久层存储。下面是一个用Scala语言编写Wordcount简单例子,测试Streaming的流处理基本能力。package streamin原创 2017-07-10 20:11:49 · 240 阅读 · 0 评论 -
Spark Streaming监控HDFS输入流
Spark Streaming实时监控HDFS文件系统写入的数据。以下是相关代码和注解以及特殊方法的源代码注释:object SourceHdfs { /** * Definition HDFS checkpoint directory address */ val checkpointDirectory = "hdfs://master:9000/sparkStreaming原创 2017-07-11 19:02:24 · 503 阅读 · 0 评论 -
Spark Streaming updateStateByKey 算法
Spark Streaming updateStateByKey主要功能是随着之间的流逝,通过ChkekPoint来维护一份state状态,通过更新函数对该key的状态进行更新。对每批新数据而言,updateStateByKey为已经存在的key进行state状态更新,如果通过更新函数对state更新后返回none,此时key对应的state状态被删除。如果不断更新每个key的state,会涉及到状原创 2017-07-21 16:28:10 · 476 阅读 · 0 评论 -
Spark Streaming polling data from Flume
Spark Streaming用polling方法从Flume获取实时数据,用Scala语言实现:object sourceFlume { def main(args: Array[String]): Unit = { implicit val conf = ConfigFactory.load() val sparkConf = new SparkConf() .setA原创 2017-07-19 12:03:38 · 274 阅读 · 0 评论