- 博客(4)
- 收藏
- 关注
原创 Spark Streaming updateStateByKey 算法
Spark Streaming updateStateByKey主要功能是随着之间的流逝,通过ChkekPoint来维护一份state状态,通过更新函数对该key的状态进行更新。对每批新数据而言,updateStateByKey为已经存在的key进行state状态更新,如果通过更新函数对state更新后返回none,此时key对应的state状态被删除。如果不断更新每个key的state,会涉及到状
2017-07-21 16:28:10
481
原创 Spark Streaming polling data from Flume
Spark Streaming用polling方法从Flume获取实时数据,用Scala语言实现:object sourceFlume { def main(args: Array[String]): Unit = { implicit val conf = ConfigFactory.load() val sparkConf = new SparkConf() .setA
2017-07-19 12:03:38
279
原创 Spark Streaming监控HDFS输入流
Spark Streaming实时监控HDFS文件系统写入的数据。以下是相关代码和注解以及特殊方法的源代码注释:object SourceHdfs { /** * Definition HDFS checkpoint directory address */ val checkpointDirectory = "hdfs://master:9000/sparkStreaming
2017-07-11 19:02:24
508
原创 Spark Streaming 初运行
Spark Streaming 是Spark的核心API的扩展,它集成了扩展、高吞吐和容错的数据流处理功能。Streaming可以从多方获取到数据来源,例如Kafka,Flume,或者TCP Sockets等。再利用复杂的算法获取到数据推送到文件系统,数据库等持久层存储。下面是一个用Scala语言编写Wordcount简单例子,测试Streaming的流处理基本能力。package streamin
2017-07-10 20:11:49
243
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人