- 博客(4)
- 收藏
- 关注
RSS订阅转载 Spark 版本定制 第4课：Spark Streaming事务处理彻底掌握
本期内容： 1，Exactly once 2，输出不重复 一、Exactly once 什么是事务处理？ 数据一定会被处理而且只处理一次，这就是事务处理。 Spark在运行出错时不能保证输出也是事务级别的。例如说Task在处理一半的时候崩溃了，虽然在语义上保持了事务级别的处理，数据处理且...
2016-05-10 21:10:00
77
转载 Spark 版本定制 第3课：通过案例实战对 SparkStreaming 透彻理解之三
本期内容： 1，解密Spark Streaming Job架构和运行机制 2，解密Spark Streaming容错架构和运行机制 一，解密Spark Streaming Job架构和运行机制 我们从已经写过的在线单词统计实战案例的Spark Streaming程序入手，通过Spark...
2016-05-10 16:44:00
70
转载 Spark 版本定制 第2课：通过案例实战对 SparkStreaming 透彻理解之二
本期内容： 1，解密 Spark Streaming 运行机制 2，解密 Spark Streaming 架构 解密 Spark Streaming 运行机制和架构 为了形象地说明RDD 与 DStream 之间的关系，我们用图形的方式表示如下： 横轴代表时间维度：按照特定的时间...
2016-05-09 20:04:00
64
转载 Spark 版本定制 第1课：通过案例实战对 SparkStreaming 透彻理解之一
Spark源码版本定制从SparkStreaming切入的原因： 1，早期版本的Spark只有Spark Core，在后续版本的演进中逐渐增加了Spark SQL、Spark Streaming、Spark R、SparkGraphX、Spark MLlib等框架。Spark Stream...
2016-05-09 17:04:00
93
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人