![](https://img-blog.csdnimg.cn/20201014180756918.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
SparkStreaming
Mr云飞
书山有路勤为径,学海无涯苦作舟。锲而舍之,朽木不折;锲而不舍,金石可镂。
展开
-
SparkStreaming02
1.transformation (1)作用:用于DStream和RDD之间交互。 package SparkReview.Streaming02 import org.apache.spark.SparkConf import org.apache.spark.streaming.{Seconds, StreamingContext} import scala.collection.m...原创 2018-12-12 18:34:14 · 346 阅读 · 0 评论 -
SparkStreaing01
1.作用及其概念 (1)概念:是基于spark(RDD)之上流处理 作用:makes it easy to build scalable fault-tolerant streaming applications(使构建可伸缩的容错流应用程序变得容易) 流:source==>compute==>store(存储) 离线是特殊的流,一个批次一个批次的,断流。 (2)spark...原创 2018-12-03 21:19:32 · 149 阅读 · 0 评论 -
SparkStreaming03
1.上节课回顾 昨天讲了basic source(基础数据源),例如:file system,socket connection等。还有一个比较重要的是Connetcion poll这个记者去找代码,试一试!! 2.Flume (1)Flume的作用:Apache Flume is a distributed, reliable, and available service for effi...原创 2018-12-18 20:06:36 · 118 阅读 · 0 评论 -
SparkStreaming管理Offset保证零数据丢失
package com.ruozedata.spark.streaming.day04 import kafka.common.TopicAndPartition import kafka.message.MessageAndMetadata import kafka.serializer.StringDecoder import org.apache.spark.SparkConf impo...原创 2018-12-30 09:39:54 · 440 阅读 · 0 评论