- 博客(4)
- 收藏
- 关注
转载 Spark 版本定制 第4课:Spark Streaming事务处理彻底掌握
本期内容: 1,Exactly once 2,输出不重复 一、Exactly once 什么是事务处理? 数据一定会被处理而且只处理一次,这就是事务处理。 Spark在运行出错时不能保证输出也是事务级别的。例如说Task在处理一半的时候崩溃了,虽然在语义上保持了事务级别的处理,数据处理且...
2016-05-10 21:10:00
77
转载 Spark 版本定制 第3课:通过案例实战对 SparkStreaming 透彻理解之三
本期内容: 1,解密Spark Streaming Job架构和运行机制 2,解密Spark Streaming容错架构和运行机制 一,解密Spark Streaming Job架构和运行机制 我们从已经写过的在线单词统计实战案例的Spark Streaming程序入手,通过Spark...
2016-05-10 16:44:00
70
转载 Spark 版本定制 第2课:通过案例实战对 SparkStreaming 透彻理解之二
本期内容: 1,解密 Spark Streaming 运行机制 2,解密 Spark Streaming 架构 解密 Spark Streaming 运行机制和架构 为了形象地说明RDD 与 DStream 之间的关系,我们用图形的方式表示如下: 横轴代表时间维度:按照特定的时间...
2016-05-09 20:04:00
64
转载 Spark 版本定制 第1课:通过案例实战对 SparkStreaming 透彻理解之一
Spark源码版本定制从SparkStreaming切入的原因: 1,早期版本的Spark只有Spark Core,在后续版本的演进中逐渐增加了Spark SQL、Spark Streaming、Spark R、SparkGraphX、Spark MLlib等框架。Spark Stream...
2016-05-09 17:04:00
93
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人