Spark Streaming资源动态申请和动态控制消费速率原理剖析

最新推荐文章于 2022-04-25 14:36:39 发布
最新推荐文章于 2022-04-25 14:36:39 发布
阅读量3.7k 收藏 1
点赞数 1
分类专栏： Spark Streaming源码详解 文章标签： spark scala hadoop java 批处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/snail_gesture/article/details/51543197
版权
本文探讨了Spark Streaming在处理高峰值和低峰值时资源浪费的问题，以及动态调整资源的挑战，如Batch Duration的时间限制。文章介绍了如何开启Spark Streaming的动态资源申请，并讨论了通过spark.streaming.backpressure.enabled参数实现的动态控制消费速率的弹性机制。
摘要由CSDN通过智能技术生成

为什么需要动态？
a) Spark默认情况下粗粒度的，先分配好资源再计算。对于Spark Streaming而言有高峰值和低峰值，但是他们需要的资源是不一样的，如果按照高峰值的角度的话，就会有大量的资源浪费。
b) Spark Streaming不断的运行，对资源消耗和管理也是我们要考虑的因素。
Spark Streaming资源动态调整的时候会面临挑战：
Spark Streaming是按照Batch Duration运行的，Batch Duration需要很多资源，下一次Batch Duration就不需要那么多资源了，调整资源的时候还没调整完Batch Duration运行就已经过期了。这个时候调整时间间隔。

Spark Streaming资源动态申请
1. 在SparkContext中默认是不开启动态资源分配的，但是可以通过手动在SparkConf中配置。

// Optionally scale number of executors dynamically based on workload. Exposed for testing.
val dynamicAllocationEnabled = Utils.isDynami
最低0.47元/天 解锁文章
snail_gesture
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
Spark 定制版：017~Spark Streaming资源动态申请和动态控制消费速率原理剖析
zisheng_wang_DATA的博客
06-22 3544
本讲内容：a. Spark Streaming资源动态分配 b. Spark Streaming动态控制消费速率注：本讲内容基于Spark 1.6.1版本（在2016年5月来说是Spark最新版本）讲解上节回顾上一讲中，我们要给大家解密park Streaming中数据清理的流程，主要从背景、Spark Streaming数据是如何清理的、源码解析三个方面给大家逐一展开背景Spark Stream
Spark streaming动态调整资源-调研报告
fct2001140269的博客
02-10 525
Spark streaming动态调整资源调研报告 一、需求背景: 我们希望spark streaming根据不同时间段的数据量不同（例如高峰期和低谷期），自动调整spark的计算资源（包含CPU和memory大小）。从而，可以在高峰期自动增加计算资源以提升处理能力，在数据量低谷时候自动缩减所需资源量，减少资源浪费。 二、 调研情况： 2.1 spark on mesos的资源伸缩原理 spark...
Spark Streaming动态资源分配
王佩的CSDN博客
06-01 2885
同反压机制一样，Spark Streaming动态资源分配(即DRA,Dynamic Resource Allocation)也可以用来应对流处理中批次流量过载的场景。 Spark Streaming动态资源分配，允许为应用动态分配资源。当任务积压时，申请更多资源；当任务空闲时，使用最少资源。 在生产中，可将动态资源分配和背压机制一起使用，通过背压机制来细粒度确保系统稳定;通过动态资源分配机制来粗...
第17课：Spark Streaming资源动态申请和动态控制消费速率原理剖析
段智华的博客
09-11 1831
本节课主要谈Spark Streaming两个比较高级的特性：Spark Streaming资源动态申请和动态控制消费速率原理剖析。动态消费速率背后有一套非常复杂的理论，这套理论有一篇非常好的论文, 而动态资源分配背后也有一套理论。因此首先跟大家讲清楚理论是怎么回事情，然后再进行深入的探讨就会容易很多。 我们首先思考一个问题，无论是资源动态分配，还是消费速率动态控制，为什么要动态？Spark在默认
【SparkStreaming篇01】SparkStreaming之Dstream入门1
08-04
SparkStreaming之Dstream入门 Spark Streaming是Apache Spark中的一个组件，用于处理流式数据。它可以从多种数据源中接收数据，如Kafka、Flume、Twitter、ZeroMQ和简单的TCP套接字等，并使用Spark的高度抽象原语如...
小晨精品Spark Streaming 与 Kafka 集成原理.pdf
11-26
然而，配置正确至关重要，比如设置合适的 `spark.streaming.kafka.consumer.poll.ms`（Kafka 消费者轮询间隔）和 `spark.streaming.kafka.maxRatePerPartition`（每个分区的最大处理速率）等参数。 对于 Direct ...
03_尚硅谷大数据技术之SparkStreaming1
08-08
在 Spark 1.5 版本之前，接收速率是通过静态配置参数控制的，可能导致资源利用率不足。背压机制在 1.5 版本后引入，根据 JobScheduler 的反馈动态调整，以避免资源浪费并保持稳定运行。 **依赖项** 在使用 Spark ...
The Delta Architecture Delta Lake + Apache Spark Structured Streaming
10-28
3. **动态资源分配**：Structured Streaming可以动态调整资源，适应数据速率的变化，提高系统的灵活性和效率。 4. **集成Spark SQL**：Structured Streaming无缝集成Spark SQL，用户可以用熟悉的SQL语法来定义流...
关于spark程序动态资源分配的一些理解
xiao_jun_0820的专栏
02-08 6778
环境： cdh5.7.1 cdh5.7.1中的spark版本为spark1.6 关于如何配置动态资源分配，参见：http://spark.apache.org/docs/1.6.3/job-scheduling.html#dynamic-resource-allocation cloudera manager中的默认配置时开启了spark 动态资源分配的,也就是spark.
Spark Streaming控制每秒消费数据的速度
weixin_46321861的博客
04-25 2265
设置spark.streaming.kafka.maxRatePerPartition的原则 spark.streaming.kafka.maxRatePerPartition这个参数是控制吞吐量的， 一般和spark.streaming.backpressure.enabled=true一起使用。 那么应该怎么算这个值呢？ 如例：若要10分钟的吞吐量控制在5000,0000，kafka分区是10个。 也就是说spark.streaming.kafka.maxRatePerPartition的值 * k
SparkStreaming控制消费速率（反压机制）
MrGrant.blog
04-28 1089
反压机制： spark1.5以后，通过动态收集系统的一些数据来自动的适配集群数据处理能力 在默认情况下，Spark Streaming 通过 receivers (或者是 Direct 方式) 以生产者生产数据的速率接收数据。当 batch processing time > batch interval 的时候，也就是每个批次数据处理的时间要比 Spark Streaming 批处理间隔时...
Spark控制消费速率
鸭梨的博客
02-04 619
spark.streaming.backpressure.initialRate spark2.0版本以上 这是启用背压机制时每个接收器将接收第一批数据的初始最大接收速率。限制第一次批处理应该消费的数据，因为程序冷启动 队列里面有大量积压，防止第一次全部读取，造成系统阻塞 This is the initial maximum receiving rate at which each receiver will receive data for the first batch when the backp
Spark定制班第17课：Spark Streaming资源动态申请和动态控制消费速率原理剖析
andyshar的博客
05-29 2468
Spark是粗粒度的，即在默认情况下会预先分配好资源，在进行计算。 好处是资源提前分配好，有计算任务时就直接使用使用计算资源，不用再考虑资源分配。 不好的地方是，有高峰值和低峰值时的资源不一样的。资源如果是针对高峰值情况下考虑的，那势必在低峰值情况下会有大量的资源浪费。 Twitter最近推出了会秒杀Storm的Heron，非常值得关注。因为Heron能有更好的资源分配、 更低的延迟。Her
Spark 动态资源分配(Dynamic Resource Allocation) 解析
allwefantasy的专栏
01-17 1526
Spark 默认采用的是资源预分配的方式。这其实也和按需做资源分配的理念是有冲突的。这篇文章会详细介绍Spark 动态资源分配原理。 前言 最近在使用Spark Streaming程序时，发现如下几个问题： 高峰和低峰Spark Streaming每个周期要处理的数据量相差三倍以上,预分配资源会导致低峰的时候资源的大量浪费。 Spark Stream...
大数据常见错误解决方案（转载）
defang0693的博客
02-24 3149
1、用./bin/spark-shell启动spark时遇到异常：java.net.BindException: Can't assign requested address: Service 'sparkDriver' failed after 16 retries! 解决方法：add export SPARK_LOCAL_IP="127.0.0.1" to spark-env....
spark streaming 有趣问题汇总
简单就好
11-14 1748
1. 关于spark.streaming.concurrent.job参数的问题1）当参数环境：6个executor，kafka topic 有3个partition，spark.streaming.concurrent.job=1 时 则：只有3个exevutor有task在跑，这个比较好理解，一个executor处理一个分区数据2）当参数环境：6个executor，kafka top
SparkStreaming动态读取配置文件
u012462093的博客
11-23 3562
SparkStreaming动态读取配置文件标签： SparkStreaming HDFS 配置文件 MySql需求 要实现SparkStreaming在流处理过程中能动态的获取到配置文件的改变 并且能在不重启应用的情况下更新配置 配置文件大概一个月改动一次，所以不能太耗性能 为什么需要动态读取配置文件？在之前的项目中一直使用的读配置文件的模式是在应用启动阶段一次性读取配置文件并获取到其中的全
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值