qq_32427393的博客

背景：实现传感器的警报。监控每一个传感器的温度差异，如果温度差大于一个阈值，则添加到报警列表。代码如下： package com.zy.chapter07 import com.zy.chapter05.SensorReading import org.apache.flink.api.common.functions.RichFlatMapFunction import org.apache.f...

RDD不同的依赖关系（宽依赖、窄依赖）是spark rdd有不同的容错处理方式；对spark框架层面容错机制的三大层面（调度层、RDD血统层、Checkpoint层）和spark rdd容错四大核心要点。 1、spark rdd容错原理 RDD的不同依赖关系导致spark对不同的依赖关系有不同的处理方式。 对于宽依赖实质是指一个父RDD的分区会对应一个或多个...