SparkStream中updateStateByKey报错:

错误1:ERROR StreamingContext: Error starting the context, marking it as stopped requirement failed: No output operations registered, so nothing to execute意思是:StreamingContext错误:启动上下文时出错,将其标记为已停止的需求失败:没有注册输出操作,因此没有要执行的内容报错原因是:检查点的时间至少是10s以上,一般设置时间是ba.
摘要由CSDN通过智能技术生成

 错误1:

ERROR StreamingContext: Error starting the context, marking it as stopped requirement failed: No output operations registered, so nothing to execute

意思是:StreamingContext错误:启动上下文时出错,将其标记为已停止的需求失败:没有注册输出操作,因此没有要执行的内容

报错原因是:检查点的时间至少是10s以上,一般设置时间是batch的5-10倍。一个batch设置5s,检查点应该设置它的5-10倍,25s或者50s.

package day09

import org.apache.log4j.{Level, Logger}
import org.apache.spark.{SparkConf, SparkContext}
import org.apache.spark.streaming.{Seconds, StreamingContext}

object UpdataState01 {
  def main(args: Array[String]): Unit = {
    //控制日志输出
    Logger.getLogger("org").setLevel(Level.ERROR)

    val conf: SparkConf = new SparkConf().setAppName(this.getClass.getSimpleName).setMaster("local[2]")
    val sc = new SparkContext(conf)
    val ssc = new StreamingContext(sc, Seconds(5))

    ssc.checkpoint
  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值