流计算
dabokele
这个作者很懒,什么都没留下…
展开
-
Kafka系列之-Kafka入门
Apache Kafka基本架构和原理。原创 2016-08-15 21:27:23 · 1350 阅读 · 0 评论 -
Spark Streaming + Kafka整合(Kafka broker版本0.8.2.1+)
这篇博客是基于Spark Streaming整合Kafka-0.8.2.1官方文档。 本文主要讲解了Spark Streaming如何从Kafka接收数据。Spark Streaming从Kafka接收数据主要有两种办法,一种是基于Kafka high-level API实现的基于Receivers的接收方式,另一种是从Spark 1.3版本之后新增的无Receivers的方式。这两种方式的代码编翻译 2016-10-14 00:08:55 · 6228 阅读 · 2 评论 -
Spark Streaming编程指南
本文基于Spark Streaming Programming Guide原文翻译, 加上一些自己的理解和小实验的结果。 一、概述 Spark Streaming是基于Core Spark API的可扩展,高吞吐量,并具有容错能力的用于处理实时数据流的一个组件。Spark Streaming可以接收各种数据源传递来的数据,比如Kafka, Flume, Kinesis或者TCP等,对接收到的翻译 2016-10-13 22:03:35 · 6874 阅读 · 3 评论 -
Flink入门路线
整理一个Flink的入门路线流程及相关参考资料。一、运行example观察现象https://ci.apache.org/projects/flink/flink-docs-release-1.3/quickstart/setup_quickstart.html 如果想要运行查看更多示例,可以参考 https://ci.apache.org/projects/flink/flink-d原创 2018-02-01 12:34:07 · 2808 阅读 · 0 评论