sparkStreaming-检查点机制与驱动器容错

原创 2018年04月15日 09:35:56

SparkStreaming的检查点机制:

检查点机制是用来保障容错性的主要机制。

控制发生失败时需要重算的状态数:

设置检查点的话,那么程序发生失败的时候,可以直接通过检查点的记录来继续计算,而不需要再重新算一遍。

提供驱动器程序容错:

如果流计算中的驱动器程序崩溃了,你可以重启驱动器程序,并让驱动器程序从检查点回复,这样SparkStreaming就可以读取之前运行的程序处理数据的进度,并从那里继续。

SparkStreaming的驱动器程序容错:

StreamingContext.getOrCreate():可以从错误中恢复驱动器程序
  def createStreamingContext(): StreamingContext = {
    val appName = "SparkStreaming"
    val conf = new SparkConf().setAppName(appName).setMaster("local[2]")
    val sc = new SparkContext(conf)
    val ssc = new StreamingContext(sc, Seconds(5))
//    ssc.checkpoint("hdfs://nameservice1:8020/home/fixFile/check")
    ssc.checkpoint("C:\\Users\\MK\\Desktop\\tmp\\check01")
    //kafka参数
    val kafkaParam = Map[String, String](//kafka低级api配置
      "zookeeper.connect" -> "sxjdb03:2181,sxjdb01:2181", //配置zookeeper args(0)
      "metadata.broker.list" -> "sxjdb01:9092",
      "group.id" -> "gtTest1", //设置一下group id
      "auto.offset.reset" -> kafka.api.OffsetRequest.LargestTimeString, //从该topic最新的位置开始读数
      "client.id" -> "gtTest1",
      "zookeeper.connection.timeout.ms" -> "10000"
    )
    val topicSet = Set("t_mk")
    val directKafka: InputDStream[(String, String)] = KafkaUtils.createDirectStream[String, String, StringDecoder, StringDecoder](ssc, kafkaParam, topicSet)
    val windowed = directKafka.map(x => x._2.toInt)
    val result = windowed.map((_, 1)).print()
    ssc
  }
  def main(args: Array[String]): Unit = {
    val ssc = StreamingContext.getOrCreate("C:\\Users\\MK\\Desktop\\tmp\\check01", createStreamingContext _)
    ssc.start()
    ssc.awaitTermination()
  }

前提是:将程序提交到集群中->所以需要数据参数

  --deploy-mode cluster

         设置监听参数来让Spark重启失败的驱动器程序:

--supervise

Spark-submit --deploy-mode cluster --supervise --master spark://..... **.jar


Linux hotplug_uevent机制

-
  • 1970年01月01日 08:00

【Spark】Spark容错机制

引入一般来说,分布式数据集的容错性有两种方式:数据检查点和记录数据的更新。 面向大规模数据分析,数据检查点操作成本很高,需要通过数据中心的网络连接在机器之间复制庞大的数据集,而网络带宽往往比内存带宽...
  • JasonDing1354
  • JasonDing1354
  • 2015-07-14 19:48:22
  • 2597

Spark内部机制学习笔记

spark 内部机制学习笔记
  • u011812294
  • u011812294
  • 2017-05-19 20:41:32
  • 287

【总结】Spark容错机制

容错方式 容错 指的是一个系统在部分模块出现故障时还能否持续的对外提供服务,一个高可用的系统应该具有很高的容错性;对于一个大的集群系统来说,机器故障、网络异常等都是很常见的,Spark这样的大型分布式...
  • dengxing1234
  • dengxing1234
  • 2017-06-23 10:57:12
  • 20028

spark streaming 检查点机制(checkpoint)

一个Streaming应用程序要求7天24小时不间断运行,因此必须适应各种导致应用程序失败的场景。Spark Streaming的检查点具有容错机制,有足够的信息能够支持故障恢复。支持两种数据类型的检...
  • qq_34822916
  • qq_34822916
  • 2017-09-29 15:13:03
  • 930

浅谈Hadoop容错机制

简单介绍一下Hadoop中数据存储的可靠性和完整性,其中包括HDFS的容错机制、NameNode(元数据结点)的单点失效解决机制、Block数据块的多副本存储机制、 NameNode与DataNode...
  • xiaozhuaixifu
  • xiaozhuaixifu
  • 2013-11-22 14:26:44
  • 3556

Dubbo-容错机制

容错机制 Dubbo提供了集群部署、路由、负载均衡等容错机制,在客户端引用服务时,由MockClusterInvoker封装具体的集群策略类,默认是FailoverCluster...
  • Tank_666
  • Tank_666
  • 2017-11-23 09:02:59
  • 155

hadoop的容错机制

针对文件内容:文件拆成小块后,每个小块在不同的datanode上存上N份。任意一个datanode挂了,还有N-1份数据是正确的。N越大资源占用越多,可靠性越大。   针对文件记录:可以在磁盘上...
  • senvil
  • senvil
  • 2015-10-05 18:24:21
  • 1624

高性能web服务容错机制

一、 重试机制 最容易也最简单被人想到的容错方式,当然就是“失败重试”,总而言之,简单粗暴!简单是指它的实现通常很简单,粗暴则是指使用不当,很可能会带来系统“雪崩”的风险,因为重试意味着对后端服...
  • u013676711
  • u013676711
  • 2016-04-11 18:11:41
  • 460
收藏助手
不良信息举报
您举报文章:sparkStreaming-检查点机制与驱动器容错
举报原因:
原因补充:

(最多只允许输入30个字)