【Big Data 每日一题20180915】Spark编码时，Static 变量慎用？

最新推荐文章于 2022-08-22 14:17:16 发布
最新推荐文章于 2022-08-22 14:17:16 发布
阅读量792 收藏 1
点赞数
分类专栏： Big Data 每日一题 Spark Spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/tianyeshiye/article/details/82597692
版权
Big Data 每日一题 同时被 3 个专栏收录
104 篇文章 3 订阅
订阅专栏
Spark
88 篇文章 0 订阅
订阅专栏
Spark
68 篇文章 2 订阅
订阅专栏

static变量最好不要用，应该使用Spark提供的广播变量和累加器

Broadcast     Accumulator

 

static变量会引发的问题：

1、 类的static变量不会被序列化，序列化task的时候，值会丢失

2、static变量保存在内存模型中的方法区，会影响(同一个Excuter的线程)其他task的值。

3、演算子内使用外部变量，特别是 执行action(如输出结果到HDFS上，条件是变量的值) 

     如果每次变量的值不同，产生的task也可能不同，结果自然就不同了

天地不仁以万物为刍狗
关注
专栏目录
Big Data with Apache Spark and Python 无水印pdf
10-03
Big Data with Apache Spark and Python 英文无水印pdf pdf所有页面使用FoxitReader和PDF-XChangeViewer测试都可以打开 本资源转载自网络，如有侵权，请联系上传者或csdn删除 本资源转载自网络，如有侵权，请...
Spark hiveUDF 不要定义static成员变量
monkeyboy_tech的博客
01-22 626
背景 最近在帮同事排查hive UDF的时候，发现了在udf中定义了静态成员变量引发的NullPointerException，具体报错如下： java.lang.NullPointerException at java.lang.String.contains(String.java:2133) at org.apache.spark.sql.hive.HiveGenericUDF.eval(hiveUDFs.scala:181) at org.apache.spark.sql.catalyst.e
大数据之spark udf函数使用详解
weixin_42396197的博客
02-07 2638
今天我们来讲讲spark中的udf函数，我们经常会碰到某些需求需要我们对数据中某个字段的数据做自定义处理，UDF：User Defined Function，下面我用实际代码举两个例子： 两种方法： 1 dataframe中使用 # 声明自定义方法 def json_decode(string): decode_json = json.loads(string) if bool(decode_json): return decode_json.get('channel
SparkSQL系列-7、自定义UDF函数？
不积跬步无以至千里，不积小流无以成江河
08-22 1978
SparkSQL系列- 自定义UDF函数
Spark变量访问总结
Alex.W.的机器学习之路
09-25 5739
Spark程序在变量的访问方式上与传统的java程序有一些不同，导致了传值和结果上的差异。本文通过一组实验来分析Spark对各种形式变量的处理方式。         下面这个简单的小程序创建了 - 静态变量staticVariable、静态广播变量staticBroadcast、静态累加器staticAccumulator； - 成员变量objectVariable、成员广播变量objectBr
Spark核心编程-共享变量
上海一九四三
08-11 1764
Spark一个非常重要的特性就是共享变量。 默认情况下，如果在一个算子函数中使用到了某个外部的变量，那么这个变量的值会被拷贝到每个task中。此时每个task只能操作自己的那份变量副本。如果多个task想要共享某个变量，那么这种方式是做不到的。 Spark为此提供了两种共享变量，一种是Broadcast Variable（广播变量），另一种是Accumulator（累加变量）。Broadcas...
heibaiying#BigData-Notes#Spark累加器与广播变量1
07-25
一、简介在 Spark 中，提供了两种类型的共享变量：累加器 (accumulator) 与广播变量 (broadcast variable)：累加器：用来对信
Big Data with Apache Spark and Python epub
10-03
Big Data with Apache Spark and Python 英文epub 本资源转载自网络，如有侵权，请联系上传者或csdn删除 本资源转载自网络，如有侵权，请联系上传者或csdn删除
Spark 序列化问题全解
热门推荐
简单就好
11-01 1万+
在Spark应用开发中，很容易出现如下报错：org.apache.spark.SparkException: Task not serializable at org.apache.spark.util.ClosureCleaner$.ensureSerializable(ClosureCleaner.scala:304) at org.apache.spark.util.ClosureCl
static 修饰的成员变量和方法不能序列化，那么写 Spark 程序时如何定义自己的工具类
YiRan_Zhao的博客
03-02 195
既然 static 修饰的成员变量和方法不能序列化，那么写 Spark 程序时如何定义自己的工具类？ anonymoustian·2016-04-08 12:27:52 +08:00· 2029 次点击 这是一个创建于 1789 天前的主题，其中的信息可能已经有所发展或是发生改变。 我想写一个工具类， 里面的方法、变量都是静态的，另外还包括静态代码块。 因为我想做成一个 “工具”的效果。 但是这样的话 在 Spark 平台上运行就会报错， user class thr...
Spark静态内存管理：StaticMemoryManager
aijiudu的博客
09-07 858
MemoryManager将堆空间静态分区为不相交的区域。分别通过spark.shuffle.memoryFraction和spark.storage.memoryFraction来确定执行和存储区域的大小 。这两个区域是完全分离的，使得两者都不能从另一个借用内存。 例如Executor的可用Heap大小是10G，实际上Spark只能使用90%，也就是9G的大小，是由spark.storag...
静态成员函数调用非静态成员变量
god9me的专栏
08-05 3107
<br /><br />程序最终都将在内存中执行，变量只有在内存中占有一席之地时才能被访问。<br />类的静态成员(变量和方法)属于类本身，在类加载的时候就会分配内存，可以通过类名直接去访问；非静态成员（变量和方法）属于类的对象，所以只有在类的对象产生（创建类的实例）时才会分配内存，然后通过类的对象（实例）去访问。<br />在一个类的静态成员中去访问其非静态成员之所以会出错是因为在类的非静态成员不存在的时候类的静态成员就已经存在了，访问一个内存中不存在的东西当然会出错。<br />C++会区分两种类型的
静态变量与成员变量的区别
SCGH_Fx的专栏
05-21 380
静态变量也叫类变量  成员变量也叫对象变量 1:所属不同 * 静态变量属于类，所以也称为为类变量 * 成员变量属于对象，所以也称为实例变量(对象变量) 2:内存中位置不同 * 静态变量存储于方法区的静态区 * 成员变量存储于堆内存 3:内存出现时间不同 * 静态变量随着类的加载而加载，随着类的消失而消失 * 成员变量随着对象的创建而存在，随着对象的消失而消失 4:调用不同 *
Java Out Of Memory解决之JAVA_OPTS参数说明与配置
龙吟山庄
09-30 728
JAVA_OPTS="-server -Xms1024m -Xmx2048m -Xss512k -XX:PermSize=300m -XX:MaxPermSize=1024m" -Xms256m ：初始化内存 -Xmx1024m ：能获得的最大内存 -Xss1024K ：每增加一个线程消耗的内存 -XX:PermSize=300m ：最小内存的永久保存区域，主要存放class文件。 -XX:MaxPermSize=456m ：最大内存的永久保存区域。 ...
Spark变量的理解
u013497977的专栏
03-09 1142
Table of Contents 1. driver变量副本： 2. 累加器 3 广播变量 为什么只能 broadcast 只读的变量？ broadcast 到节点而不是 broadcast 到每个 task？ 为什么要使用广播变量？ 4.总结 1. driver变量副本： 可以简单看做main函数中定义的变量，一般而言,当我们给Spark算子(如 map 或 reduc...
JAVA中序列化和反序列化中的静态成员问题
君临天下的博客
11-22 8006
JAVA的序列化和反序列化中的静态成员问题     关于这个标题的内容是面试笔试中比较常见的考题，大家跟随我的博客一起来学习下这个过程。     JAVA中的序列化和反序列化主要用于： （1）将对象或者异常等写入文件，通过文件交互传输信息； （2）将对象或者异常等通过网络进行传输。     那么为什么需要序列化和反序列化呢？简单来说，如果你只是自己同一台机
掌握Big Data SMACK：Apache Spark、Mesos等技术指南
"《Big Data SMACK：Apache Spark、Mesos、Akka、Cassandra和Kafka指南》一书由Raul Estrada和Isaac Ruiz合著，于2016年出版，针对大数据领域中的热门技术栈SMACK（Spark++）进行了深入讲解。SMACK这个名字来源于...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值