dumosin-CSDN博客

原创 Spark Streaming updateStateByKey 算法

Spark Streaming updateStateByKey主要功能是随着之间的流逝，通过ChkekPoint来维护一份state状态，通过更新函数对该key的状态进行更新。对每批新数据而言，updateStateByKey为已经存在的key进行state状态更新，如果通过更新函数对state更新后返回none，此时key对应的state状态被删除。如果不断更新每个key的state，会涉及到状

2017-07-21 16:28:10 481

原创 Spark Streaming polling data from Flume

Spark Streaming用polling方法从Flume获取实时数据，用Scala语言实现：object sourceFlume { def main(args: Array[String]): Unit = { implicit val conf = ConfigFactory.load() val sparkConf = new SparkConf() .setA

2017-07-19 12:03:38 279

原创 Spark Streaming监控HDFS输入流

Spark Streaming实时监控HDFS文件系统写入的数据。以下是相关代码和注解以及特殊方法的源代码注释：object SourceHdfs { /** * Definition HDFS checkpoint directory address */ val checkpointDirectory = "hdfs://master:9000/sparkStreaming

2017-07-11 19:02:24 508

原创 Spark Streaming 初运行

Spark Streaming 是Spark的核心API的扩展，它集成了扩展、高吞吐和容错的数据流处理功能。Streaming可以从多方获取到数据来源，例如Kafka，Flume，或者TCP Sockets等。再利用复杂的算法获取到数据推送到文件系统，数据库等持久层存储。下面是一个用Scala语言编写Wordcount简单例子，测试Streaming的流处理基本能力。package streamin

2017-07-10 20:11:49 243

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人