Spark 定制版：018~Spark Streaming中空RDD处理及流处理程序优雅的停止

最新推荐文章于 2023-11-06 16:31:41 发布
VIP文章 最新推荐文章于 2023-11-06 16:31:41 发布
阅读量1.3k 收藏 1
点赞数 1
分类专栏： spark源码分析 文章标签： spark 源码 解密 RDD 停止
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zisheng_wang_DATA/article/details/51778934
版权

本讲内容：

a. Spark Streaming中的空RDD处理
b. Spark Streaming程序的停止

注：本讲内容基于Spark 1.6.1版本（在2016年5月来说是Spark最新版本）讲解

上节回顾

上一讲中，我们要给大家解密park Streaming两个比较高级的特性，资源动态申请和动态控制消费速率原理

默认情况下，Spark是先分配好资源，然后在进行计算，也就是粗粒度的资源分配
粗粒度的好处：资源是提前给分配好的，所以计算任务的时候，直接使用这些资源
粗粒度的缺点：从Spark Streaming的角度讲，有高峰值和低峰值，高峰和低峰的时候，需要的资源是不一样的；如果按照高峰值的角度去分配，低峰值的时候，有大量的资源的浪费

资源的动态分配是由一个定时器，不断的扫描Executor的情况，例如：有段时间之内，Executor没收到任何任务，所以会把这个Executor移除掉

动态资源调整的时候，最好不要设置太多的Core，Core设置的太多，假如资源调整太过频繁的话，是比较麻烦的(Core 的个数一般设置为奇数：3、5、7)

Spark Streaming要进行处理资源的动态调整，就是Executor的动态调整
Spark Streaming是Batch Duration的方式执行的，这个Batch Duration里需要很多资源，下一个Batch Duration里不需要那么多资源，可能想调整资源的时候，还没来得及调整完资源，当前的这个Batc

最低0.47元/天 解锁文章
zisheng_wang_DATA
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
大数据之Spark（九）：Spark Streaming 概述
Oak_Komorebi的博客
08-23 1347
一、流式计算简介 1.1 流式计算 理解流式计算，最形象的例子，就是小明的往水池中放(入)水又放(出)水的案例。流式计算就像水流⼀样， 数据连绵不断的产生，并被快速处理，所以流式计算拥有如下⼀些特点： 数据是无界的(unbounded) 数据是动态的 计算速度是非常快的 计算不止一次 计算不能终⽌ 反过来看看⼀下离线计算有哪些特点： 数据是有界的(Bounded) 数据静态的 计算速度通常较慢 计算只执行一次 计算终会终止 在大数据计算领域中，通常所...
spark 终止 运行_如何优雅地终止正在运行的Spark Streaming程序
weixin_39614011的博客
12-19 629
一直运行的等作业运行完再关闭我们都知道，如果想及时了解Spark、Hadoop或者Hbase相关的文章，欢迎关注微信公共帐号：iteblog_hadoop通过Spark内置机制关闭其实Spark内置就为我们提供了一种优雅的方法来关闭长期运行的Streaming作业，我们来看看 StreamingContext 类中定义的一个 stop 方法： def stop(stopSparkContext: ...
spark学习笔记（十二）——sparkStreaming-RDD队列/自定义数据源/kafka数据源/DStream转换/DStream输出/优雅关闭
qq_55906442的博客
08-18 733
继承Receiver，实现onStart、onStop方法来自定义数据源采集。//TODO 创建配置环境//采集数据//开始}/*自定义数据采集器1.继承Receiver，定义泛型，传递参数2.重写方法*///最初启动,读数据val message = "采集的数据为：" + new Random().nextInt(10).toString}}}//停止}}}结果：//初始化Spark配置信息//初始化SparkStreamingContext。......
【大数据分析】Spark Streaming：Spark Streaming应用程序（一）
sword_csdn的博客
05-21 410
某些专业领域从实时数据分析中获利：流量监控、在线广告、股票市场交易等。许多案例需要可扩展的容错系统来摄入数据并进行分析，Spark Streaming具有用于从Hadoop兼容的文件系统（如HDFS和S3）和分布式系统（如Flume、Kafka和Twitter）读取数据的连接器。 ......
Spark学习笔记：spark核心编程、RDD、SparkSQL、SparkStreaming
最新发布
m0_51697147的博客
11-06 348
Spark笔记
spark流数据处理：SparkStreaming的使用
02-26
SparkStreaming是Spark核心API的扩展，用于可伸缩、高吞吐量、可容错地处理在线流数据。SparkStreaming可以从很多数据源获取数据，比如：Kafka、Flume、Twitter、ZeroMQ、Kinesis或TCP连接等，并可以用很多高层算子...
SparkStreaming：大规模流式数据处理的新贵
02-26
本文阐释了SparkStreaming的架构及编程模型，并结合实践对其核心技术进行了深入的剖析，给出了具体的应用场景及优化方案。提到SparkStreaming，我们不得不说一下BDAS（BerkeleyDataAnalyticsStack），这个伯克利大学...
Spark Streaming快速入门系列(2) | RDD队列+自定义数据源
Knight
09-05 391
目录一.RDD队列二.自定义数据源 一.RDD队列 1.用法及说明 测试过程中，可以通过使用ssc.queueStream(queueOfRDDs)来创建DStream，每一个推送到这个队列中的RDD，都会作为一个DStream处理。 2.案例实操 需求：循环创建几个 RDD，将 RDD 放入队列。通过 Spark Streaming创建 Dstream，计算 WordCount 3.代码实现 import org.apache.spark.SparkConf import org.apache
Spark Streaming中空RDD的处理
shengpli′s blog
01-24 1054
一、前言 　　在Spark Streaming中，job不断的产生，有时候会产生一些空RDD，而基于这些空RDD生成的job大多数情况下是没必要提交到集群执行的。执行没有结果的job，就是浪费计算资源，数据库连接资源，产生空文件等。 　　 　　这里介绍两种判断空RDD的方式　 第一种是以Receiver接收数据时产生的BlockRDD或WriteAheadLogBackedBlockRD
如何优雅地终止正在运行的Spark Streaming程序
Make progress step by step everyday.....
03-08 6707
转载原文地址：可以点击：https://www.iteblog.com/archives/1890.html进入原文阅读。 　　一直运行的Spark Streaming程序如何关闭呢？是直接使用kill命令强制关闭吗？这种手段是可以达到关闭的目的，但是带来的后果就是可能会导致数据的丢失，因为这时候如果程序正在处理接收到的数据，但是由于接收到kill命令，那它只能停止整个程
linux中spark进程如何关闭,Spark集群无法停止的原因分析和解决
weixin_39880615的博客
05-01 2499
今天想停止spark集群，发现执行stop-all.sh的时候spark的相关进程都无法停止。提示：no org.apache.spark.deploy.master.Master to stopno org.apache.spark.deploy.worker.Worker to stop上网查了一些资料，再翻看了一下stop-all.sh，stop-master.sh，stop-slaves....
Spark定制班第18课：Spark Streaming中空RDD处理及流处理程序优雅的停止
andyshar的博客
06-05 1826
本期内容： 1 Spark Streaming中的空RDD处理 2 Spark Streaming程序的停止 1 Spark Streaming中的空RDD处理      在Spark Streaming应用程序中，无论使用什么 DStream，底层实际上就是操作RDD。 从一个应用程序片段开始，进行剖析： ...     val lines = ss
详解Spark Streaming的Graceful Shutdown
热门推荐
茅庐
01-06 1万+
本文主要探讨Spark Streaming的Graceful Shutdown，重点为三个问题：为什么需要Graceful Shutdown？如何触发Graceful Shutdown？Graceful Shutdown过程是怎样的？
Spark Streaming正确关闭方法
shengpli′s blog
01-24 5091
Ｓｐａｒｋ１．６以后 １．配置以下参数 spark.streaming.stopGracefullyOnShutdown＝ｔｒｕｅ 解释 该参数决定是否需要以Gracefully方式来关闭Streaming程序（详情请参见SPARK-7776）。Spark会在启动 StreamingContext 的时候注册这个钩子，如下： shutdownHookRef = Shutdown
如何优雅地关闭SparkStreaming
ChengYanan的博客
04-23 831
How to Shutdown a Spark Streaming Job Gracefully 方案1 (推荐但方案需要讨论) 第一种方案是使用spark.streaming.stopGracefullyOnShutdown（默认是false），这个参数就是为了解决Spark优雅关闭问题，开发者不需要调用ssc.stop()，相反他们需要做的是发送SIGTERM信号至Driver。在实际的实践中...
【Spark】Spark-空RDD判断与处理
weixin_34379433的博客
01-11 4249
Spark-空RDD判断与处理  SparkKafkaDemo - Streaming Statisticsrdd isempty count_百度搜索Spark RDD.isEmpty costs much time - Stack OverflowSpark Streaming中空RDD的处理-Spark-about云开发[SPARK-5270] Provide isEmpty() funct...
java spark streaming rdd 判断 是否为null
weixin_33963189的博客
09-07 1517
2019独角兽企业重金招聘Python工程师标准>>> ...
7.spark Streaming 技术内幕 : 从DSteam到RDD全过程解析
weixin_30695195的博客
05-20 498
原创文章，转载请注明:转载自 听风居士博客(http://www.cnblogs.com/zhouyf/) 上篇博客讨论了Spark Streaming 程序动态生成Job的过程,并留下一个疑问:JobScheduler将动态生成的Job提交,然后调用了Job对象的run方法,最后run方法的调用是如何触发RDD的Action操作,从而真正触发Job的执行的呢?本文就具体讲解这个问题。 ...
Spark Streaming 程序处理流数据的方法
05-31
Spark Streaming 程序处理流数据的方法一般包括以下几个步骤： 1. 定义数据源：使用 Spark Streaming 支持的数据源（如 Kafka、Flume、HDFS、Twitter 和 Socket 等），创建一个 DStream（离散流），用于表示输入的数据流。 2. 定义数据处理逻辑：使用 Spark Streaming 提供的高级 API（如 map、flatMap、reduceByKey、updateStateByKey 等），定义对输入数据流进行处理的逻辑。 3. 启动 StreamingContext：创建一个 StreamingContext 对象，并使用它来启动 Spark Streaming 应用程序。 4. 接收和处理数据：在 StreamingContext 启动后，使用 DStream 的一些操作（如 foreachRDD、saveAsTextFiles 等），从 DStream 中接收和处理数据。 5. 停止 StreamingContext：当数据流处理完成后，使用 StreamingContext 停止 Spark Streaming 应用程序。 下面是一个简单的 Spark Streaming 程序示例，用于计算从一个 TCP socket 中读取的数字的总和： ```python from pyspark import SparkContext from pyspark.streaming import StreamingContext # 创建 SparkContext 和 StreamingContext 对象 sc = SparkContext("local[2]", "NetworkWordCount") ssc = StreamingContext(sc, 1) # 创建一个 DStream，从 TCP socket 中读取数据 lines = ssc.socketTextStream("localhost", 9999) # 对输入数据流进行处理 numbers = lines.flatMap(lambda line: line.split(" ")) total = numbers.reduce(lambda x, y: int(x) + int(y)) # 输出结果 total.pprint() # 启动 StreamingContext ssc.start() # 等待 StreamingContext 停止 ssc.awaitTermination() ``` 在上面的示例中，我们首先创建了一个 SparkContext 和一个 StreamingContext 对象。然后，我们使用 StreamingContext.socketTextStream() 方法创建了一个 DStream，从 localhost 的 9999 端口读取数据。接下来，我们使用 flatMap 和 reduce 操作对输入数据流进行处理，计算数字的总和，并使用 pprint() 方法输出结果。最后，我们启动 StreamingContext，等待数据流处理完成。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值