【Big Data 每日一题20180915】Spark编码时，Static 变量慎用？

最新推荐文章于 2022-02-07 18:49:41 发布
最新推荐文章于 2022-02-07 18:49:41 发布
阅读量792 收藏 1
点赞数
分类专栏： Big Data 每日一题 Spark Spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/tianyeshiye/article/details/82597692
版权
Big Data 每日一题 同时被 3 个专栏收录
104 篇文章 3 订阅
订阅专栏
Spark
88 篇文章 0 订阅
订阅专栏
Spark
68 篇文章 2 订阅
订阅专栏

static变量最好不要用，应该使用Spark提供的广播变量和累加器

Broadcast     Accumulator

 

static变量会引发的问题：

1、 类的static变量不会被序列化，序列化task的时候，值会丢失

2、static变量保存在内存模型中的方法区，会影响(同一个Excuter的线程)其他task的值。

3、演算子内使用外部变量，特别是 执行action(如输出结果到HDFS上，条件是变量的值) 

     如果每次变量的值不同，产生的task也可能不同，结果自然就不同了

天地不仁以万物为刍狗
关注
专栏目录
Spark的StaticMemoryManager
九师兄
11-27 897
1.分水岭 spark1.6版本 　　Spark 1.6 中引入了新的内存管理方案，以前为StaticMemoryManager，这一节先看看旧的。 　　 2. 默认使用新的方案StaticMemoryManager 　　刚刚提到自 1.6 版本引入了新的内存管理方案，但并不是说在 1.6 版本中不能使用旧的方案，而是默认使用新方案。我们可以通过设置 spark.memory.user...
idea big data tools插件使用(spark远程调试) 读取集群hdfs文件
yy的博客
12-18 2688
idea远程调试spark gif演示 下有教程 idea版本 连接hdfs 注意: parquet文件可以直接双击打开 连接hadoop 通过hdfs查看存储的parquet文件内容 连接kafka 信息 连接spark spark面板 zeppelin database 查看hive数据 database支持哪些数据库 database连接spark 自动给你下载驱动 ..
Spark静态内存管理：StaticMemoryManager
aijiudu的博客
09-07 858
MemoryManager将堆空间静态分区为不相交的区域。分别通过spark.shuffle.memoryFraction和spark.storage.memoryFraction来确定执行和存储区域的大小 。这两个区域是完全分离的，使得两者都不能从另一个借用内存。 例如Executor的可用Heap大小是10G，实际上Spark只能使用90%，也就是9G的大小，是由spark.storag...
static 修饰的成员变量和方法不能序列化，那么写 Spark 程序时如何定义自己的工具类
YiRan_Zhao的博客
03-02 195
既然 static 修饰的成员变量和方法不能序列化，那么写 Spark 程序时如何定义自己的工具类？ anonymoustian·2016-04-08 12:27:52 +08:00· 2029 次点击 这是一个创建于 1789 天前的主题，其中的信息可能已经有所发展或是发生改变。 我想写一个工具类， 里面的方法、变量都是静态的，另外还包括静态代码块。 因为我想做成一个 “工具”的效果。 但是这样的话 在 Spark 平台上运行就会报错， user class thr...
Spark hiveUDF 不要定义static成员变量
monkeyboy_tech的博客
01-22 626
背景 最近在帮同事排查hive UDF的时候，发现了在udf中定义了静态成员变量引发的NullPointerException，具体报错如下： java.lang.NullPointerException at java.lang.String.contains(String.java:2133) at org.apache.spark.sql.hive.HiveGenericUDF.eval(hiveUDFs.scala:181) at org.apache.spark.sql.catalyst.e
Spark 静态内存管理
T_Janey
07-03 3541
Spark 静态内存管理详解一、 内容简介 spark从1.6开始引入了动态内存管理模式，即执行内存和存储内存之间可以互相抢占。spark提供两种内存分配模式，即：静态内存管理和动态内存管理。该系列文章分别对这两种内存管理模式的优缺点以及设计原理进行了分析。该篇文章主要针对spark1.6静态内存管理进行了分析与说明。动态内存管理以及其他的调优文章后期会陆续...
Spark: Big Data Cluster Computing in Production
12-15
Spark: Big Data Cluster Computing in Production English | 2016 | ISBN: 1119254019 | 216 pages | PDF | 5 MB Production-targeted Spark guidance with real-world use cases Spark: Big Data Cluster ...
Big Data Analytics with Spark 无水印pdf 0分
02-01
What's more, Big Data Analytics with Spark provides an introduction to other big data technologies that are commonly used along with Spark, like Hive, Avro, Kafka and so on. So the book is self-...
Spark中广播变量
qq_40870024的博客
01-22 3229
1.广播变量的意义 广播变量的好处，不需要每个task带上一份变量副本，而是变成每个节点的executor才一份副本。这样的话， 就可以让变量产生的副本大大减少,从而减少传输过程中的IO,减少存放变量的内存占用. 2.下面一张高清大图说明广播的过程，Driver将数据collect到一起，然后将完整的数据分发到executors上,进行相应的处理 3.广播变量的用法 广播变量用法很简单，其实就是SparkContext的broadcast()方法，传入你要广播的变量，即可。 context.broadca
Spark内存管理模型（一）—— 静态内存管理（Static Memory Manager）
瓜牛呱呱的博客
04-13 1632
Spark内存模型在1.6版本之前版本采用的是静态管理（Static Memory Manager）的方式，在1.6之后采用的是统一管理（Unified Memory Manager）的方式。且Spark的可用内存分为堆内和堆外，所以本文先对静态内存管理的机制进行讲解。 一、堆内 静态管理（堆内）的模型如下图所示： 静态内存管理中，内存主要规划为3部分： 一、Storage...
大数据之spark udf函数使用详解
weixin_42396197的博客
02-07 2638
今天我们来讲讲spark中的udf函数，我们经常会碰到某些需求需要我们对数据中某个字段的数据做自定义处理，UDF：User Defined Function，下面我用实际代码举两个例子： 两种方法： 1 dataframe中使用 # 声明自定义方法 def json_decode(string): decode_json = json.loads(string) if bool(decode_json): return decode_json.get('channel
Spark 内存管理之StaticMemoryManager
热门推荐
u011564172的博客
05-03 1万+
分析静态资源管理器StaticMemoryManager
Spark源码——Spark内存模型分析（静态内存管理和统一内存管理）
aof
04-15 525
Spark在1.6.0版本之前提供的是静态内存管理，实现类StaticMemoryManager；在1.6.0版本即之后默认的是统一内存管理，实现类是UnifiedMemoryManager。 不管是静态内存管理还是统一内存管理，Spark内存都是被划分为执行内存区域(execution)和存储内存区域(storage)。execution内存主要用在shuffle、join、sort和aggre...
Spark----Shared Variables（共享变量）
XiaodunLP的博客
02-14 581
Shared Variables（共享变量）  在 Spark 程序中，当一个传递给 Spark 操作(例如 map 和 reduce)的函数在远程节点上面运行 时，Spark 操作实际上操作的是这个函数所用变量的一个独立副本。这些变量会被复制到每台机器上，并且这些变量在远程机器上的所有更新都不会传递回驱动程序。通常跨任务的读 写变量是低效的，但是，Spark 还是为两种常见的使用模式提供了两种...
spark如何防止内存溢出_Spark 理论基石 —— RDD
weixin_39792519的博客
11-26 263
概述RDD，学名可伸缩的分布式数据集（Resilient Distributed Dataset）。是一种对数据集形态的抽象，基于此抽象，使用者可以在集群中执行一系列计算，而不用将中间结果落盘。而这正是之前 MR 抽象的一个重要痛点，每一个步骤都需要落盘，使得不必要的开销很高。对于分布式系统，容错支持是必不可少的。为了支持容错，RDD 只支持粗粒度的变换。即，输入数据集是 immutable （或...
spark java开发例子_Spark开发简单示例
weixin_39914732的博客
02-17 295
packageme.ooi.testSpark;import static spark.Spark.*;importjava.io.File;importjava.io.IOException;importjava.util.ArrayList;importjava.util.HashMap;importjava.util.List;importjava.util.Map;importorg.sl...
Spark变量访问总结
Alex.W.的机器学习之路
09-25 5739
Spark程序在变量的访问方式上与传统的java程序有一些不同，导致了传值和结果上的差异。本文通过一组实验来分析Spark对各种形式变量的处理方式。         下面这个简单的小程序创建了 - 静态变量staticVariable、静态广播变量staticBroadcast、静态累加器staticAccumulator； - 成员变量objectVariable、成员广播变量objectBr
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值