![](https://img-blog.csdnimg.cn/20200618144319285.jpg?x-oss-process=image/resize,m_fixed,h_224,w_224)
Spark Streaming
可以实现高吞吐量的、具备容错机制的实时流数据的处理
胡子球手
谦虚请教
展开
-
Spark Streaming简易介绍
介绍 Spark Streaming是一个基于Spark Core之上的实时计算框架,可以从很多数据源消费数据并对数据进行实时的处理,具有高吞吐量和容错能力强等特点。 特点 易用:可以像编写离线批处理一样去编写流式程序,支持java/scala/python语言。 容错:SparkStreaming在没有额外代码和配置的情况下可以恢复丢失的工作。 易整合到Spark体系:流式处理与批处理和交互式...原创 2020-04-22 19:57:17 · 2872 阅读 · 0 评论 -
SparkStreaming操作实战代码(整合kafka ,窗口函数)
Spark Streaming实战(wordcount) package day0414 import org.apache.spark.streaming.dstream.{DStream, ReceiverInputDStream} import org.apache.spark.{SparkConf, SparkContext} import org.apache.spark.stream...原创 2020-04-21 11:21:22 · 2586 阅读 · 0 评论