![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Spark
SusurHe
这个作者很懒,什么都没留下…
展开
-
Flink容错机制-双十一神话的安全保障
Flink容错机制以及Chandy-Lamport算法 流式计算分为有状态和无状态两种情况,所谓状态就是计算过程中的中间值; 对于无状态计算,会独立观察每个独立事件,并根据最后一个事件输出结果:对于一个流式系统接收到一系列的数字,当数字大于N则输出,这时候在此之前的数字的值、和等情况,压根不关心,只和最后这个大于N的数字相关就行; 有状态计算:想求过去一分钟所有数字的和或者平均数等,这种就需要保存...原创 2019-11-17 14:44:47 · 257 阅读 · 0 评论 -
Spark Streaming详解
内容 sparkStreaming简介 spark Streaming和Storm区别 Spark Streaming算子 Spark checkpointing Spark和kafka整合 Spark Streaming SparkStreaming是一种流式处理框架,是SparkAPI的扩展,支持可扩展、高吞吐、容错的***准实时***数据处理,实时数据的来源可以事: Kafka、F...原创 2019-11-02 11:46:37 · 350 阅读 · 0 评论