- 博客(3)
- 资源 (5)
- 收藏
- 关注
RSS订阅转载 <转>Spark Streaming编程指南
一、概述 Spark Streaming是基于Core Spark API的可扩展，高吞吐量，并具有容错能力的用于处理实时数据流的一个组件。Spark Streaming可以接收各种数据源传递来的数据，比如Kafka, Flume, Kinesis或者TCP等，对接收到的数据还可以使用一些用高阶函数（比如map, reduce, join及window）进行封装的复杂算法做进一步的处
2016-10-27 09:33:06
337
转载 <转>Spark Streaming中的操作函数分析
根据Spark官方文档中的描述，在Spark Streaming应用中，一个DStream对象可以调用多种操作，主要分为以下几类 TransformationsWindow OperationsJoin OperationsOutput Operations 一、Transformations 1、map(func) map操作需要传入一个函数当做参数，具体调用形式为
2016-10-20 15:27:14
322
转载 <转>Sparkstreaming reduceByKeyAndWindow(_+_, _-_, Duration, Duration) 的源码/原理解析
最近在玩spark streaming， 感觉到了他的强大。 然后看 StreamingContext的源码去理解spark是怎么完成计算的。 大部分的源码比较容易看懂， 但是这个 reduceByKeyAndWindow(_+_, _-_, Duration, Duration) 还是花了不少时间。 主要还是由于对spark不熟悉造成的吧， 还好基本弄明白了。 总的来说Spark
2016-10-20 14:53:25
1482
clementine的中文教程
2013-11-18
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人