为了应对工作节点失败的问题,Spark Streaming 使用与 Spark 的容错机制
相同的方法。所有从外部数据源中收到的数据都在多个工作节点上备份。所有
从备份数据转化操作的过程 中创建出来的 RDD 都能容忍一个工作节点的失
败,因为根据 RDD 谱系图,系统可以把丢 失的数据从幸存的输入数据备份
中重算出来。
Spark Streaming 工作节点容错
最新推荐文章于 2020-12-20 11:34:17 发布
为了应对工作节点失败的问题,Spark Streaming 使用与 Spark 的容错机制
相同的方法。所有从外部数据源中收到的数据都在多个工作节点上备份。所有
从备份数据转化操作的过程 中创建出来的 RDD 都能容忍一个工作节点的失
败,因为根据 RDD 谱系图,系统可以把丢 失的数据从幸存的输入数据备份
中重算出来。