spark streaming驱动器程序容错

import org.apache.spark.SparkConf
import org.apache.spark.streaming.{Seconds, StreamingContext}
import org.apache.spark.streaming.dstream.{DStream, ReceiverInputDStream}
object jiachadian {
def functionCreateStreamingContext() ={
val conf =new SparkConf().setAppName(“4”).setMaster("local[
]")
val ssc = new StreamingContext(conf,Seconds(2))
val file: ReceiverInputDStream[String] = ssc.socketTextStream(“192.168.11.11”,9000)
ssc.checkpoint(".")
val res: DStream[(String, Int)] = file.flatMap(.split(" ")).map((,1))
val updateFunc= (in:Seq[Int], mi:Option[Int]) => {
val sum =in.sum+mi.getOrElse(0)
Some(sum)
}
res.updateStateByKey(updateFunc).print()
ssc
}
def main(args: Array[String]): Unit = {
val ssc: StreamingContext = StreamingContext.getOrCreate(".",functionCreateStreamingContext)
ssc.start()
ssc.awaitTermination()
}
}*

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值