SparkStreaming变慢问题分析

最新推荐文章于 2022-05-28 01:32:41 发布
最新推荐文章于 2022-05-28 01:32:41 发布
阅读量1.2k 收藏 1
点赞数
分类专栏： Spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/RONE321/article/details/105113806
版权

SparkStreaming跑着跑着会变慢！
我们的任务是每秒解析1800条数据，而每天早上我去查看解析速度的时候发现每秒只解析了500条左右！

看了下Yarn集群的运行日志，我发现每天晚上凌晨的时候都有一个定时的job在运行！

这导致本来集群资源就不足！3个计算节点每个节点16核128G，一共才48核。我们的SparkStreaming任务 Repartition了一次（提高并发量），这样则Repartition需要CPU 而没有空闲的CPU可用！导致解析速度直线下降！

而当定时的MRJob跑完后，SparkStreaming会重新再次申请CPU，慢慢慢慢的一点点的将积压的数据消费完，解析速度也会提上来的！但是如果定时的Job跑了一个小时，我们的SparkStreamingJob积压了好多好多Job要处理，那么我们的流处理则会一直Delay！

Rone-X
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
SparkStreaming任务延迟监控
wangyu_qiuxue的博客
12-28 895
SparkStreaming延迟监控 ​ 这篇博客来源于一个惨痛的线上事故经历，我们编写好SparkStreaming程序清洗行为数据，然后每十分钟往Hive写一次，大家都以为任务正常的运行，不会出什么问题，然而问题正在后台默默的产生了，到了第二天，所有依赖于Hive这张行为数据表的报表数据都少了很多，这是为啥呢？为什么会有这个问题？答案：数据过多，Spark Streaming调度批次积压，再加上数据倾斜，导致一个批次任务运行时间超过了原来正常运行时间的二倍，数据延迟三个小时。 ​ 这种事故最快的解决
SparkStreaming流式日志过滤与分析
05-30
（1）利用SparkStreaming从文件目录读入日志信息，日志内容包含： ”日志级别、函数名、日志内容“ 三个字段，字段之间以空格拆分。请看数据源的文件。 （2）对读入都日志信息流进行指定筛选出日志级别为error或warn...
SparkStreaming 中用 Direct 方式拉取越来超慢
weixin_34198583的博客
12-28 263
2019独角兽企业重金招聘Python工程师标准>>> ...
记一次spark streaming+kafka 运行时间不稳定调优历程
u013716179的博客
06-30 5072
spark streaming+kafka运行batch process time不稳定问题梳理问题现象排障调优历程解决方案 问题现象 题主在去年8月份首次使用spark streaming进行流式计算的时候遇到的一个问题，即spark streaming读取kafka消息进行流式计算, 但是在数据量比较大的情况下总会出现一些batch的process time比较长，但是大多数batch能在较短...
sparkstreaming消费处理速度滞后
m0_37911384的博客
11-19 2172
在工作中遇到上图所示问题，sparkstreaming处理速度跟不上拉取的数量，我尝试给spark作业增大资源，完全没作用，后来发现kafka的topic只有一个分区，spark作业都已经给了5个excutor，再增加资源和excutor也没作用，好像是因为topic一个分区对应一个excutor，这样才能并行执行，我这里一个分区，所以只用上一个excutor，它已经达到上限，增加资源也白费。我...
Spark-steamming性能变慢的问题分析-内存分析
fct2001140269的博客
08-23 754
Spark-steamming性能变慢的问题分析 知识背景：需要从spark的DAG优化、内存、CPU、序列化、shuffle磁盘读写、GC回收情况请角度考虑相应的问题。 1.在集群中spark内存现状： [外链图片转存失败(img-bL8CCXXb-1566547586815)(C:\Users\user\AppData\Roaming\Typora\typora-user-images\156...
spark Streaming和structed streaming分析
04-23
spark Streaming和structed streaming分析，理解整个 Spark Streaming 的模块划分和代码逻辑。
SparkStreaming入门案例
06-22
Spark Streaming 入门案例 Spark Streaming 是一种构建在 Spark 上的实时计算框架，用来处理大规模流式数据。它将从数据源（如 Kafka、Flume、Twitter、ZeroMQ、HDFS 和 TCP 套接字）获得的连续数据流，离散化成一...
SparkStreaming编程讲解
01-30
1.什么是SparkStreaming？2.SparkStreaming可以接受那些数据源？3.Dstream，我们可以进行哪两种操作？Sparkstreaming:构建在Spark上处理Stream数据的框架，基本的原理是将Stream数据分成小的时间片断（几秒），以...
Spark Streaming 示例
04-03
Spark Streaming 是 Apache Spark 的一个模块，它允许开发者处理实时数据流。这个强大的工具提供了一种弹性、容错性好且易于编程的模型，用于构建实时流处理应用。在这个"Spark Streaming 示例"中，我们将深入探讨...
spark-streaming越来越慢的bug
voidfaceless的博客
10-29 1146
spark-streaming越来越慢的bug 解决方案： step1:kafka参数配置为不自动提交偏移量： "enable.auto.commit" -> (false: java.lang.Boolean) step2:自己写代码维护偏移量 打完收工。后续代码再更新 ...
Spark Structured Streaming延迟数据处理实例
Rango_lhl的博客
01-22 1415
一、Spark中水印作用 Spark内部引擎的实现是保留内部状态的，以便让基于事件时间的窗口聚合可以更新旧的数据，但是如果一个查询持续运行多天，那么系统绑定中间状态累积的数量也会随之增加，为了释放资源，用户可以通过自定义水印来告知系统可以丢弃哪些在内存中旧状态的数据。自定义水印可以使用withWatermark()方法。 二、延迟数据处理实例（基于pyspark） 通过一个实例说明，Spark如何处理迟到数据以及水印在迟到数据处理的作用。 该实例中，首先建立一个基于CSV文件的输入源，模拟实时写入CSV文件
一次Spark程序运行缓慢原因排查
houpk999的博客
02-27 3892
功能：判断车辆轨迹数据在指定区域内停留时间超过半小时。 实现思路：车辆定位数据生成RDD，遍历RDD每个元素，判断是否在指定区域内，如果在，则累加计算停留时间，最后判断停留时间是否超过半小时。 代码： sortLocationInfoRDD.foreachPartition( new VoidFunction<Iterator<CarLo...
【译】Yarn上常驻Spark-Streaming程序调优
weixin_30371875的博客
09-30 161
作者从容错、性能等方面优化了长时间运行在yarn上的spark-Streaming作业 对于长时间运行的Spark Streaming作业，一旦提交到YARN群集便需要永久运行，直到有意停止。任何中断都会引起严重的处理延迟，并可能导致数据丢失或重复。YARN和Apache Spark都不是为了执行长时间运行的服务而设计的。但是，它们已经成功地满足了近实时数据处理作业的常驻需求。成功并...
Spark Streaming处理速度滞后于读取速度测试
ぃ高小莫博客
12-02 4657
Java代码   包 spark.examples.streaming      导入 org.apache.spark.SparkConf   import  org.apache.spark.streaming.StreamingContext._   导入 org.apache.spark.streaming._      对象NetCatStreamingWord
spark入hudi延迟优化
TNT_wang的博客
05-28 602
最近在做spark入数据湖（hudi）， 最开始使用默认的布隆过滤器索引，延迟总是不能达成要求，看了下原理，如果有比较多的更新，那么每次更新是需要读取base文件中的id来确认是真实的更新写入，因此更新较多的情况下，入湖延迟有比较大的波动。 后来看到了字节贡献的bucket索引，如果使用常规的用法，面临着分桶数需要提前指定，分桶大小难以估计的困难。 ...
sparkstreaming个别task执行时间过长
假面
07-17 1223
1.单机差异排查 通过streaming的web可看到运行的每个批的详细信息，我们注意到在运行时间上的批次里，基本都是少部分任务时间很长，大多数task还是很快的。可以看到75%的task在3秒内执行完，但是Max最大的确实1.2min，首先猜想的是机器性能差异，但是经过排查集群机器性能并无区别，且每台机器上执行的task比较均衡，基本上排除了单机性能差异问题，且在耗时较长的批次中，可以发现耗时长的task每次回出现在不同的机器上，因此也从侧面排除了机器性能差异问题。 2.网络因素排查， 大部分处于RAC.
sparkstructedStreaming将DF写入hudi报format(“hudi“)错
LZX的博客
02-09 718
hudi
将mysql数据通过canal+kafka+sparkstructedstreaming写入hudi并同步hive
LZX的博客
03-08 2533
1 配置canal 读取mysql日志正则将数据分发（动态分区）至对应kafka topic 2 sparkstructedstreaming获取kafka数据 并将数据存储至hudi 本人有大量表名为 document_xxx（document_1，document_2，document_3…） 通过canal将数据存储kafka topic （document） object SSSHudiETL { case class Model_Document(table: String, sql_typ
spark-streaming课堂讲义.docx
12-05
"SparkStreaming课堂讲义" SparkStreaming是Apache Spark的一部分，专为处理持续...通过深入理解SparkStreaming的基本概念和特点，开发者可以构建起强大的实时或准实时数据分析系统，应对不断增长的实时数据处理需求。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值