Spark系列十六：Spark Streming

最新推荐文章于 2023-03-03 17:43:11 发布
最新推荐文章于 2023-03-03 17:43:11 发布
阅读量743 收藏
点赞数
分类专栏： spark Spark从入门（小白）到实战（精通啃源码）
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_37657725/article/details/95584918
版权

实时计算相关技术比较

Strom / Jstrom

    Spark Streming    

  Flink    

   实时性高      

    有延迟       

     实时性高

   吞吐量较低     

   吞吐量高     

     吞吐量高

   只能实时计算   

   离线+实时  

     离线+实时

   算子比较少      

   算子丰富   

     算子丰富

      没有        

   机器学习              

      没有

      没有                

    图计算 

      没有

   使用比较少        

   非常火    

      一般

一个完整的生态是非常重要的，spark生态特别完善

DStream

  1. Spark Streaming是一个基于Spark Core之上的实时计算框架，可以从很多数据源消费数据并对数据进行处理，
  2. 在Spark Streaming中有一个最基本的抽象叫DStream（代理）
  3. DStream本质上就是一系列连续的RDD，DStream其实就是对RDD的封装
  4. DStream可以任务是一个RDD的工厂，该DStream里面生产都是相同业务逻辑的RDD，只不过是RDD里面要读取数据的不相同
  5. 深入理解DStream:他是sparkStreaming中的一个最基本的抽象，代表了一系列连续的数据流，本质上是一系列连续的RDD，你对DStream进行操作，就是对RDD进行操作
  6. DStream每隔一段时间生成一个RDD，你对DStream进行
最低0.47元/天 解锁文章
静静七分醉
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
SparkStreming中的Transformations和状态管理
吾心光明
08-22 1357
本博文内容主要包括：1、SparkStreaming 中的Transformations 2、SparkStreaming 中的状态管理一：SparkStreaming中的Transformation： 1、DStream就是一个RDD之上的一个抽象，DStream和时间结合起来就不断的触发产生RDD的实例，可以说我们对Dstream的操作就初步定义了对RDD的操作，只不过需要时间的间隔也就是i
Spark Streaming
小黄鸭的博客
09-03 1453
教程： http://spark.apache.org/docs/latest/streaming-programming-guide.html pom: https://search.maven.org/#search%7Cga%7C1%7Cg%3A%22org.apache.spark%22%20AND%20v%3A%222.3.1%22 Spark Streaming是核心Spark...
SparkStreaming
糊里糊涂走进大数据的小菜鸡
01-07 1411
在大数据的各种框架中，hadoop无疑是大数据的主流，但是随着时代发展，hadoop只适用于离线数据的处理，无法应对一些实时数据的处理分析，我们需要一些实时计算框架来分析数据。因此出现了很多流式实时计算框架，比如Storm，Spark Streaming，Samaz等框架，本文主要讲解Spark Streaming的工作原理以及如何使用。 1. SparkStreaming SparkStreaming是微批处理，每隔一段时间处理一次，每隔一段时间将接收到的数据封装成一个rdd, 再触发一个job处理r.
sparkStreming on HDFS
数据创造价值
05-27 380
1.创建sparkConf SparkConf conf=new SparkConf().setAppName("SparkStreamingOnHDFS02")         .setMaster("spark://192.168.10.200:7077");//至少要开启2个线程 2.创建JavaStreamingContextFactory，需要checkPoint目录和conf两个参
大数据系列之Spark Streaming
牧羊人的方向
05-05 4937
Spark Streaming是构建在Spark上的实时流计算框架，可以进行实时流数据处理。本文简要介绍了Spark Streaming的基本概念和基本算子的使用。
Spark性能优化：数据倾斜调优
02-26
继《Spark性能优化：开发调优篇》和《Spark性能优化：资源调优篇》讲解了每个Spark开发人员都必须熟知的开发调优与资源调优之后，本文作为《Spark性能优化指南》的高级篇，将深入分析数据倾斜调优与shuffle调优，以...
Spark性能优化：资源调优篇
02-26
在开发完Spark作业之后，就该为作业配置合适的资源了。Spark的资源参数，基本都可以在spark-submit命令中作为参数设置。很多Spark初学者，通常不知道该设置哪些必要的参数，以及如何设置这些参数，最后就只能胡乱...
Spark性能优化：shuffle调优
01-29
大多数Spark作业的性能主要就是消耗在了shuffle环节，因为该环节包含了大量的磁盘IO、序列化、网络数据传输等操作。因此，如果要让作业的性能更上一层楼，就有必要对shuffle过程进行调优。但是也必须提醒大家的是，...
Spark性能优化：开发调优篇
02-01
Spark性能优化的第一步，就是要在开发Spark作业的过程中注意和应用一些性能优化的基本原则。开发调优，就是要让大家了解以下一些Spark基本开发原则，包括：RDD lineage设计、算子的合理使用、特殊操作的优化等。在...
spark11 sparkStreming
04-19 271
sparkStreaming实时性不如storm,但是吞吐量要大得多 DStream：代表了一系列连续的RDD，是一个离散的数据流,API名字和RDD相似, 1.可以直接处理,但是同时自动执行,每5秒执行一次,在这5秒内的都算输入,其他的不会识别 2.特殊 -> transform 把他当做RDD算子 在这个算子内部进行map等算子操作 3.想要一致累加就要特殊 -> updateS...
Spark Streaming 概述
zhaoxiaoba123的博客
09-13 900
Spark Streaming is an extension of the core Spark API that enables scalable, high-throughput, fault-tolerant stream processing of live data streams. Data can be ingested from many sources like Kafka, Flume, Kinesis, or TCP sockets, and can be processed usi
spark介绍之spark streaming
weixin_41745141的博客
03-03 3379
spark streaming详细介绍
Spark Streaming简单入门（示例+原理）
热门推荐
Yage的博客
06-21 3万+
一个简单的示例 以一个简单的例子开始spark streaming的学习之旅！我们会从本机的7777端口源源不断地收到以换行符分隔的文本数据流 // 在本地启动名为SimpleDemo的SparkStreaming应用 // 该应用拥有两个线程，其批处理时间间隔为1s // 创建SparkConf val conf = new SparkConf().setMaster("local[2]").s...
SparkSteaming细节问题
qq_35419086的博客
03-22 153
batch interval可以根据你的应用程序的延迟要求以及可用的集群资源情况来设置。注意如果虚拟机/服务器配置不行，这个时间不能设置太短，否则SparkSteaming会跑不起来。...
SparkSteaming程序异常问题排查步骤
fengfengchen95的博客
11-29 477
SparkSteaming程序异常问题排查步骤 程序运行环境：Spark on yarn  cluster环境 异常问题排查步骤： 1.首先在yarn页面查看程序的运行情况，点击running页面查看程序是否掉线。 2.不掉线的情况,点击上图的 Tracking UI对应的：ApplicationMaster进入任务详细信息页面 ，查看jobs 和Streaming页面查看是否正常。 ...
Spark Streaming概述
liangzelei的博客
06-12 1万+
1、Spark Streaming用于处理流式计算问题。能够和Spark的其他模块无缝集成。2、Spark Streaming是一个粗粒度的框架【也就是只能对一批数据指定处理方法】，核心是采用微批次架构。和Storm采用的以条处理的不同。3、Spark Streaming会运行接收器来不断的接收输入的数据流，然后根据程序配置的时间，将时间范围内的所有数据打成一个RDD，发送给Spark Core去...
Spark6：Spark Steaming
定期分享我的发现和想法，感谢你的陪伴和支持
05-31 5538
一、流计算概述 静态数据、流数据 特点 实时处理、主动推送 大量、快速、时变、持续到达 低延迟、可扩展、高可靠 二、Spark Streaming 模仿流计算 Spark是以线程级别并行，实时响应级别高 可以实现秒级响应，变相实现高效的流计算 Spark Streaming是一个基于Spark Core之上的实时计算框架，可以从很多数据源消费数据并对数据进行处理。 三、DStream 在Spark Streaing中有一个最基本的抽象叫DStream（代理），本质上就是一系列连续的RDD
Spark（四）— Spark Streaming
ks_1998的博客
05-01 3322
Spark（四）— Spark Streaming
SparkStreaming（一）概述
myroncham的博客
01-03 2938
1、概述 1.1、SparkStreaming是什么 Spark Streaming是对核心Spark API的一个扩展，它能够实现对实时数据流的流式处理，并具有很好的可扩展性、高吞吐量和容错性。Spark Streaming支持从多种数据源提取数据，如：Kafka、Flume、Twitter、ZeroMQ、Kinesis以及TCP套接字，并且可以提供一些高级API来表达复杂的处理算法，如：m...
spark系列1：spark的前世今生
最新发布
04-11
这个问题的意思是：b'spark系列1：spark的前世今生。因此，我来回答一下。 Spark是一款高速且通用的分布式计算系统，最初由美国加州大学伯克利分校AMPLab开发。它支持多种编程语言（如Java、Scala和Python）和各种...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值