streaming
dabokele
这个作者很懒,什么都没留下…
展开
-
Spark Streaming + Flume整合官网文档阅读及运行示例
1,基于Flume的Push模式(Flume-style Push-based Approach) Flume被用于在Flume agents之间推送数据.在这种方式下,Spark Streaming可以很方便的建立一个receiver,起到一个Avro agent的作用.Flume可以将数据推送到改receiver.1),需求从集群中选择一台机器,当Flu原创 2015-09-23 15:56:30 · 2905 阅读 · 0 评论 -
Spark Streaming + Kafka整合(Kafka broker版本0.8.2.1+)
这篇博客是基于Spark Streaming整合Kafka-0.8.2.1官方文档。 本文主要讲解了Spark Streaming如何从Kafka接收数据。Spark Streaming从Kafka接收数据主要有两种办法,一种是基于Kafka high-level API实现的基于Receivers的接收方式,另一种是从Spark 1.3版本之后新增的无Receivers的方式。这两种方式的代码编翻译 2016-10-14 00:08:55 · 6229 阅读 · 2 评论 -
Spark Streaming应用启动过程分析
本文为SparkStreaming源码剖析的第三篇,主要分析SparkStreaming启动过程。 在调用StreamingContext.start方法后,进入JobScheduler.start方法中,各子元素start方法的调用顺序如下:private var eventLoop : EventLoop[JobSchedulerEvent] = nullval listenerBus原创 2016-12-20 23:44:25 · 4858 阅读 · 0 评论 -
Spark Streaming编程指南
本文基于Spark Streaming Programming Guide原文翻译, 加上一些自己的理解和小实验的结果。 一、概述 Spark Streaming是基于Core Spark API的可扩展,高吞吐量,并具有容错能力的用于处理实时数据流的一个组件。Spark Streaming可以接收各种数据源传递来的数据,比如Kafka, Flume, Kinesis或者TCP等,对接收到的翻译 2016-10-13 22:03:35 · 6877 阅读 · 3 评论