Spark streaming 作业需要注意的问题

最新推荐文章于 2024-08-09 17:04:25 发布
最新推荐文章于 2024-08-09 17:04:25 发布
阅读量1k 收藏 2
点赞数
分类专栏： spark-streaming
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xwc35047/article/details/76921056
版权

根据实践，本文不断更新中。

1、java.lang.OutOfMemoryError: GC overhead limit exceeded
分析：因为streaming是长进程服务，如果当初分配堆太小，运行很长时间后会出现GC overhead limit exceeded问题，查看driver进程gc信息发现老年代使用率达到99.6%，故处理方法是提高driver堆大小，同时提高老年代大小。
处理：设置spark.driver.memory 6g (原来是2g), spark.driver.extraJavaOptions -XX:MaxPermSize=2g （原来默认是256m）

文章会同步到公众号，关注公众号，交流更方便：
在这里插入图片描述

xwc35047
关注
专栏目录
【Spark 实战系列】SparkStreaming 累加器的使用
JasonLee实时计算
11-17 1113
累加器（accumulator）是Spark中提供的一种分布式的变量机制，其原理类似于mapreduce，即分布式的改变，然后聚合这些改变。如果你想知道处理成功了多少条,失败了多少条,可以定义两个累计器,一个放在程序处理的最后面,失败的在catch里面进行累计,就可以了,需要注意的是,如果你把程序停了,在启动后,累计器会初始化,不会从上次的结果出接着累计,如果你想要让他接着累计的话,可以把每个批次的结果保存到第三方存储,然后第二次启动的时候,直接把第一个批次的累计器的结果和之前保存的结果相加就好了。
SparkStreaming
asd623444055的博客
05-07 320
一、Spark Streaming概述 1.离线和实时概念 数据处理的延迟 离线计算 就是在计算开始前已知所有输入数据，输入数据不会产生变化，一般计算量级较大，计算时间也较长。例如今天早上一点，把昨天累积的日志，计算出所需结果。最经典的就是Hadoop的MapReduce方式； 实时计算 输入数据是可以以序列化的方式一个个输入并进行处理的，也就是说在开始的时候并不需要知道所有的输入数据。与离线计算相比，运行时间短，计算量级相对较小。强调计算过程的时间要短，即所查当下给出结果。 2.批量和流式概念
Spark>SparkStreamingKafka 练习题
qq_44509920的博客
04-23 735
查看历史记录的命令 history | grep kafka 以下是RNG S8 8强赛失败后，官微发表道歉微博下一级评论 数据说明： rng_comment.txt文件中的数据 字段 字段含义 index 数据id child_comment 回复数量 comment_time 评论时间 content 评论内容 da_v 微博个人认证 like_status...
入门Spark-Streaming遇到的问题
DellTower的博客
05-16 2983
入门Spark-Streaming遇到的问题以前没有用过spark，只是大概了解是大数据需要的框架。前几天组内需要构建一个用户模型，因为要求实时更新数据，所以只好硬着头皮去学着写了一个程序，大概两周的时间，中间遇到的问题记录如下。一个程序一般分为数据读取→数据处理→结果输出的过程。学习一门新语言总要面对环境搭建→学习语法→写Demo熟悉→实战演练的过程。所以本文的顺序如下1、环境搭建；2、语法和D...
GC overhead limit exceeded问题解决
最新发布
tttalk的博客
08-09 3853
最终结果：16（id）+ 24（create_time）+ 24（modify_time）+ 48（name）+16（age）+88（address）+ 40（height）+ 40（weight）+ 64（phone）= 360字节。一个字符占2个字节。是因为在Java虚拟机中，对象的内存布局是按照一定的规则进行排列的，这种排列方式叫做对象对齐，它的占用内存一般为8个字节的整数倍。但是，请注意，这还没有包括Java对象头的开销，也没有考虑JVM的内存对齐要求（即对象大小可能需要是8的倍数）。
Spark Streaming 总和练习
weixin_44856660的博客
11-15 247
创建主题 bin/kafka-topics.sh -create --zookeeper hdp01:2181,hdp01:2181,hdp03:2181 -replication-factor 3 --partitions 3 --topic my ================================================================+ 生产者 bin/...
Spark-Streaming 和 Kafka 做实时计算需要注意的点
梧桐听夜雨
12-29 1603
spark到kafka的消息消费--SparkKafkaDriverHAZooKeeperOps流式计算中最重要的消息的消费总结 流式计算中最重要的消息的消费 当我们使用spark做准实时计算的时候，很大场景都是和kafka的通信，总结下spark使用kafka的注意事项，下面上代码 package com.aura.bigdata.spark.scala.streaming.p1 impor...
谈谈如何优雅的关闭正在运行中的Spark Streaming的流程序
三劫散仙
11-30 806
前面的文章，已经简单提到过怎么样关闭流程序。因为Spark Streaming流程序比较特殊，所以不能直接执行kill -9 这种暴力方式停掉，如果使用这种方式停程序，那么就有可能丢失数据或者重复消费数据。 为什么呢？因为流程序一旦起来基本上是一个7*24小时的状态，除非特殊情况，否则是不会停的，因为每时每刻都有可能在处理数据，如果要停，也一定要确认当前正在处理的数据执行完毕...
Spark Streaming 作业练习
weixin_43334251的博客
06-11 2815
Spark Streaming 作业练习 实验内容及要求 在本地或HDFS新建一个测试目录，编写一个简单程序，每随机间隔若干秒（5s以内）在该目录下新建一个文件，并写入若干行内容（每一行包含若干单词，单词之间以空格分隔）。现利用Spark Streaming分别完成如下单词统计： (1)实时统计每10s新出现的单词数量（每10s统计1次）； (2)实时统计最近1分钟内每个单词的出现次数（每10s统计1次）； (3)实时统计每个单词的累积出现次数，并将结果保存到本地文件（每10s统计1次） 为了顺利进行实验
SparkStreaming注意要点
qq_37283909的博客
05-30 431
http://spark.apache.org/docs/latest/streaming-programming-guide.html Spark官网已经已经将用法与概念写的很详细了。这里写一点平时需要注意的要点。 Spark：是以批处理为主，用微批处理来处理流数据 Flink：以流处理为主，用流处理来处理批数据 StreamingContext ssc ==> Source ==&gt...
Spark Streaming 概述
mu_kui的博客
06-20 1034
spark学习笔记
Spark Streaming/Flink广播实现作业配置动态更新
lvlei19911108的博客
06-27 172
前言 在实时计算作业中，往往需要动态改变一些配置，举几个栗子： 实时日志ETL服务，需要在日志的格式、字段发生变化时保证正常解析； 实时NLP服务，需要及时识别新添加的领域词与停用词； 实时风控服务，需要根据业务情况调整触发警告的规则。 那么问题来了：配置每次变化都得手动修改代码，再重启作业吗？答案显然是否定的，毕竟实时任务的终极目标就是7 x 24无间断运行。Spark Streaming和...
【Spark Streaming】（一）Spark Streaming 简单入门
qianchun22的博客
12-22 618
一、概述 SparkStreaming是流式处理框架，是Spark API的扩展，支持可扩展、高吞吐量、容错的实时数据流处理，实时数据的来源可以是：Kafka, Flume, Twitter, ZeroMQ或者TCP sockets，并且可以使用高级功能的复杂算子来处理流数据。例如：map,reduce,join,window 。最终，处理后的数据可以存放在文件系统，数据库等，方便实时展现。 一个简单的示例 下面以一个简单的例子开始spark streaming的学习之旅！我们会从本机的7777端口源源不断
Spark项目问题记录
-_- 's blog
11-04 718
问题一，打包spark项目，idea编译器，导入jar包的方式打包没问题，用maven导包之后编译还按照之前的Project Structure方式打包，执行spark-submit报错：Exception in thread “main” java.lang.SecurityException: Invalid signature file digest for Manifest main att
SparkSteaming程序异常问题排查步骤
fengfengchen95的博客
11-29 488
SparkSteaming程序异常问题排查步骤 程序运行环境：Spark on yarn  cluster环境 异常问题排查步骤： 1.首先在yarn页面查看程序的运行情况，点击running页面查看程序是否掉线。 2.不掉线的情况,点击上图的 Tracking UI对应的：ApplicationMaster进入任务详细信息页面 ，查看jobs 和Streaming页面查看是否正常。 ...
Spark Streaming实践和优化
anningzhu的博客
03-05 741
一、Spark Streaming概述 Spark是美国加州伯克利大学AMP实验室推出的新一代分布式计算框架，其核心概念是RDD，一个只读的、有容错机制的分布式数据集，RDD可以全部缓存在内存中，并在多次计算中重复使用。相比于MapReduce编程模型，Spark具有以下几个优点： 更大的灵活性和更高的抽象层次，使得用户用更少的代码即可实现同样的功能； 适合迭代算法，在MapRe
java.lang.OutOfMemoryError: GC overhead limit exceeded解决办法
热门推荐
for ever的log——永远的足迹
07-07 4万+
java.lang.OutOfMemoryError: GC overhead limit exceeded解决办法<br /> <br />@for&ever 2010-07-07<br /><br />一、异常如下：<br />Exception in thread "main" java.lang.OutOfMemoryError: GC overhead limit exceeded<br /> <br />二、解释：<br />JDK6新增错误类型。当GC为释放很小空间占用大量时间时抛出。<br
Android：java.lang.OutOfMemoryError：GC overhead limit exceeded
weixin_33895657的博客
06-07 131
Android编译：java.lang.OutOfMemoryError：GC overhead limit exceeded 百度好多什么JVM啊之类的东西，新手简单粗暴的办法： 1、在的Model的build.gradle中配置 android{ …… dexOptions { incremental true javaMax...
spark streaming流量控制
liujianhuiouc的专栏
08-26 1885
随着计算机机硬件的快速发展，机器的内存大小也从原来的以兆为单位到现在的上百G，这也推动了分布式计算从原来的基于硬盘存储发展到现在的基于内存存储，spark作为实时计算的佼佼者也逐渐的走上了大规模商业应用的道路，spark streaming常常用在实时流计算的各个领域，在这一章节我们主要讲解一下streaming处理过程中的流量控制，在我们平时的streaming程序开发过程中应该注意哪些方面以提高
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值