spark从入门到放弃二十四:Spark 性能优化(7)广播共享变量

最新推荐文章于 2022-06-26 17:02:43 发布
最新推荐文章于 2022-06-26 17:02:43 发布
阅读量2.7k 收藏
点赞数
分类专栏： 大数据 spark 文章标签： spark 大数据 性能优化
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u012957549/article/details/79691518
版权
spark 同时被 2 个专栏收录
122 篇文章 15 订阅
订阅专栏
大数据
43 篇文章 1 订阅
订阅专栏

文章地址：http://www.haha174.top/article/details/254421

假设现在有一个配置文件很大又100M.默认的情况下算子函数使用到的外部的数据，会拷贝到每一个task中，此时如果使用到的外部的数据很大的话，那么岂不是在各个节点都会占用大量的内存！而且会产生大量的网络传输，大量的网络通信造成性能的开销。
这种情况下就应该对外部大数据进行Broatcast 广播，然后让其在每个节点上，就一分副本，而不是每个task 一份副本，大大减少每个节点的内存占用空间。
val BroatCastConf=sc.broatcast(myconf)
这样的话每个节点上就一个副本而不是每个task 一个副本大大减少每个节点上的占用空间。

欢迎关注，更多福利

这里写图片描述

WQ同学
关注
专栏目录
Spark基础入门篇 | MapReduce原理 + Spark原理 + PySpark环境搭建 + 简单实战
weixin_43646592的博客
05-31 909
Spark基础入门篇 | MapReduce原理 + Spark原理 + PySpark环境搭建 + 简单实战
Flink从入门到精通100篇（十七）-Spark/Flink广播如何实现作业配置动态更新？
wenyusuran的专栏
12-23 1191
前言 在实时计算作业中，往往需要动态改变一些配置，举几个栗子： 实时日志ETL服务，需要在日志的格式、字段发生变化时保证正常解析； 实时NLP服务，需要及时识别新添加的领域词与停用词； 实时风控服务，需要根据业务情况调整触发警告的规则。 那么问题来了：配置每次变化都得手动修改代码，再重启作业吗？答案显然是否定的，毕竟实时任务的终极目标就是7 x 24无...
Spark部分的调优（代码调优，内存优化，调节Executor的堆外内存，shuffle调优，解决数据倾斜，Spark故障解决）【原理及方法介绍】
wyqwilliam的博客
08-02 2403
 shuffle调优中调节参数的几种方式： 配置这些参数有两种方式 1. 在程序中硬编码 例如 sparkConf.set("spark.shuffle.file.buffer","64k") 2. 提交 application 时在命令行指定 例如 spark-submit --conf spark.shuffle.file.buffer=64k --conf 配置信息=配置值 ... ...
spark从入门到放弃七: 共享变量
u012957549的博客
03-13 3010
文章地址：http://www.haha174.top/article/details/257359 项目源码：https://github.com/haha174/spark.git spark 一个非常重要的特性就是共享变量，默认情况下如果一个算子函数中使用到了某个外部的变量，那么这个变量的值会被拷贝到每个task 中，此时每个task 只能操作自己那份变量副本。如果多个task 想...
Scala传递参数遇到的坑
weixin_33910759的博客
04-06 999
1、方法中的参数全为val型。 例： def insertMap(map:=>Map[String,Int]):Unit={ 　　map+=("b"->2) //报错 } 传递过来的map默认为val型，不可变。 2、方法中传递的参数非按地址传值。 这一点和java很不一样，也是很坑的一个地方。 转载于:https://www.cnblogs.com/runn...
Spark---性能调优之广播共享数据
tianqinglei的博客
09-14 1244
假设有一个map，1M，举例。还算小的。如果你是从哪个表里面读取了一些维度数据，比方说，所有商品品类的信息，在某个算子函数中要使用到。100M。 1000个task。100G的数据，网络传输。集群瞬间因为这个原因消耗掉100G的内存。 每个task拷贝一个变量的副本会造成什么样的影响？ 这种默认的，task执行的算子中，使用了外部的变量，每个task都会获取一份变量的副本，有什么缺点呢？
spark广播变量的原理_Spark共享变量---广播变量
weixin_33899835的博客
12-24 507
前提：在spark环境下，当我们传递一个操作(例如：map,reduce)的函数到远程多个节点上进行运行时，各个节点都需要使用到该函数中的变量。如果变量比较大，如何下发这些变量呢？如果我们使用下面的方式，进行数据下发：即将变量从Driver下发到每一个执行的task中。 例如：50个executor,1000个task。传递数据map类型，大小10M。网络传输中，需要传递1000个副本，则在集群中...
Spark 性能优化
源源源的博客
05-16 157
目录 一、开发调优 原则一：避免创建重复的RDD 原则二：尽可能复用同一个RDD 原则三：对多次使用的RDD进行持久化 原则四：尽量避免使用shuffle类算子 原则五：使用map-side预聚合的shuffle操作 原则六：使用高性能的算子 原则七：广播大变量 原则八：使用Kryo优化序列化性能 2、资源调优 num-executors executor-memory executor-cores driver-memory spark.default.parallelism spark.storage.
Spark入门
blackrock233的博客
03-04 2488
Spark的基本使用和一些常见问题
PySpark | RDD持久化 | 共享变量 | Spark内核调度
liujiesxs的博客
06-26 1272
RDD持久化、共享变量、Spark任务调度
shell 命令操作hdfs
u012957549的博客
12-13 7446
简介本编文章主要讲述shell 命令操作hdfs 主要讲述几个简单常用的shell 命令 如 ls get mkdir rm put 前提需要安装hdfs 作者用的是虚拟机搭建的伪分布式环境，如果没有搭建环境的可以参考这里http://www.haha174.top/article/details/251072 首先使用jps 确保 hdfs 都启动 hadoop fs
spark从入门到放弃十三:spark 三种提交模式
u012957549的博客
03-18 5021
文章地址：http://www.haha174.top/article/details/257573 一.Standalone 模式基于spark自己的 Master-Worker 集群。 就是之前的 spark-submit 提交的方式这里不再详细叙述。如果不清楚可以看这篇文章 如果要切换成第二种，第三种模式。将之前的submit脚本添加上–master 参数 设置为yar...
spark从入门到放弃四十:hive on spark
u012957549的博客
04-22 4780
知识背景（1） hive 是目前大数据领域，事实上的sql 标准。其底层默认是基于MapReduce实现的，但是由于MapReduce速度不够快。因此近几年，陆续出来了新的Sql 查询引擎。包括Spark Sql ，hive on tez ,hive on spark. Spark Sql 和hive on spark 是不一样的。spark sql 是Spark 自...
spark从入门到放弃四十五:Spark Streaming(5)详解StreamingContext
u012957549的博客
04-29 4360
spark从入门到放弃四十五:Spark Streaming(5)详解StreamingContext
spark从入门到放弃四十三:Spark Streaming(3)与storm 对比
u012957549的博客
04-24 4151
文章地址：http://www.haha174.top/article/details/256486 1.storm简介 Storm是一个分布式的，可靠的，容错的数据流处理系统。Storm集群的输入流由一个被称作spout的组件管理，spout把数据传递给bolt， bolt要么把数据保存到某种存储器，要么把数据传递给其它的bolt。一个Storm集群就是在一连串的bolt之间转换spout传...
spark从入门到放弃二十六:Spark 性能优化(9)reduceByKey和groupByKey
u012957549的博客
03-26 3957
文章地址：http://www.haha174.top/article/details/259354 举个例子 val counts=pairs.reduceByKey(_+_) val counts=pairs.groupByKey().map(wordcounts=>(wordcounts._1,wordcounts_2.sum)) 如果能用reduceByKey那就用reduce...
spark从入门到放弃十九:Spark 性能优化(2)高性能序列化类库
u012957549的博客
03-25 3928
文章地址：http://www.haha174.top/article/details/254551 在任何分布式系统里面序列化都是扮演一个很重要的角色。如果使用序列化的技术，在执行序列化的时候很慢，或者序列化之后数据量还是很大。那么会让分布式应用程序的性能下降很多。所以进行spark性能优化的第一步。就是进行序列化的性能优化。 spark自身默认在一些地方会进行序列化，比如Shuffle 。...
spark从入门到放弃三十三:Spark Sql(6)hive sql 案例 查询分数大于80分的同学
u012957549的博客
04-21 3891
文章地址：http://www.haha174.top/article/details/258176 有两张表 一个student_info 保存的是 学生的姓名 年龄 另一个是 student_scores 保存的是 学生的年龄和分数。现在将大于80分的学生的姓名，分数，年龄写入到一张表。 需要安装一个hive 可以参考：http://www.haha174.top/article...
spark从入门到放弃十: top N
u012957549的博客
03-17 3776
文章地址：http://www.haha174.top/article/details/255827 项目源码：https://github.com/haha174/spark.git 这篇主要通过两个例子介绍一下top N. 1.对文本文件内的数字，取最大的前3个。 下面给出一个top文本 3 5 6 7 1 4 5 6 9 0 3 下面对这个文本取出最大的前三...
spark从入门到放弃四十三:spark streaming(3)与storm 对比
最新发布
03-16
这意味着Spark Streaming可以利用Spark的内存计算能力，从而提供更高的性能和可扩展性。 其次，Spark Streaming提供了更高级别的API，使得编写流处理应用程序更加容易和直观。相比之下，Storm需要更多的代码和配置...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值