spark利用cache优化shuffle

最新推荐文章于 2023-03-17 11:57:51 发布
最新推荐文章于 2023-03-17 11:57:51 发布
阅读量713 收藏 2
点赞数 1
分类专栏： 大数据框架 Spark 文章标签： spark优化 spark cache spark shuffle优化 spark缓存 spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/a308601801/article/details/112109619
版权
博客讨论了如何利用Spark的cache功能优化shuffle过程，尤其是对于reduce-side-join的性能提升。通过介绍不同类型的缓存方法，如CACHE TABLE、缓存dataFrame，并探讨了相关参数设置，如`spark.sql.autoBroadcastJoinThreshold`，强调了合理缓存和调整参数对避免shuffle和提升运行效率的重要性。
摘要由CSDN通过智能技术生成

cache表，数据放内存，数据被广播到Executor，

将多份数据进行关联是数据处理过程中非常普遍的用法，不过在分布式计算系统中，这个问题往往会变的非常麻烦，因为框架提供的 join 操作一般会将所有数据根据 key 发送到所有的 reduce 分区中去，也就是 shuffle 的过程。造成大量的网络以及磁盘IO消耗，运行效率极其低下，这个过程一般被称为 reduce-side-join。

如果其中有张表较小的话，我们则可以自己实现在 map 端实现数据关联，跳过大量数据进行 shuffle 的过程，运行时间得到大量缩短，根据不同数据可能会有几倍到数十倍的性能提升，这个过程是map-side-join。

reduce-side-join 的缺陷在于会将key相同的数据发送到同一个partition中进行运算，大数据集的传输需要长时间的IO，同时任务并发度收到限制，还可能造成数据倾斜。

reduce-side-join 运行图如下

这里写图片描述

map-side-join 运行图如下

这里写图片描述

一.几种缓存方法

1.CACHE TABLE


                

        

        

    

  


        

            

                    
                      最低0.47元/天 解锁文章
                        
                    
            

        

    

      

        

            

              
                
                  RayfunC
                
              
            

            

                关注
              
            

        

        

          
      

      

            

                专栏目录
          









                



	

		

			

				
					
【Spark】Spark的Shuffle机制

				
			

			

				

					Jason Ding的专栏
				

				

					07-14
					
					2566
					
				

			

		

		

			
				
MapReduce中的Shuffle在MapReduce框架中，shuffle是连接Map和Reduce之间的桥梁，Map的输出要用到Reduce中必须经过shuffle这个环节，shuffle的性能高低直接影响了整个程序的性能和吞吐量。 
Shuffle是MapReduce框架中的一个特定的phase，介于Map phase和Reduce phase之间，当Map的输出结果要被Reduce使用时，

			
		

	



                

              
                



	

		

			

				
					
spark sql cache

					
热门推荐

				
			

			

				

					偷闲小苑
				

				

					09-22
					
					1万+
					
				

			

		

		

			
				
1.几种缓存数据的方法例如有一张hive表叫做activity1.CACHE TABLE//缓存全表
sqlContext.sql("CACHE TABLE activity")//缓存过滤结果
sqlContext.sql("CACHE TABLE activity_cached as select * from activity where ...")
CACHE TABLE是即时生效(eage

			
		

	



                


  
              

                


	

		

			

				
					
spark cache优化

				
			

			

				

					u012189807的博客
				

				

					05-30
					
					327
					
				

			

		

		

			
				
cache优化针对的是rdd_a不仅要计算得到rdd_b还要计算得到rdd_c，如果不cache再计算rdd_c时就要重新计算rdd_a，因为再计算完rdd_b时系统就以为a没用了就释放了。...

			
		

	





	

		

			

				
					
Spark的cache缓存、存储级别、shuffle弊端与coalesce

				
			

			

				

					博客
				

				

					10-26
					
					1130
					
				

			

		

		

			
				
官网：http://spark.apache.org/docs/latest/rdd-programming-guide.html#rdd-persistence
Cache
cache（缓存）和persist（持久化）的区别
cache源码里面调用的是persist，persist里面传的是 存储化级别是内存
cache lazy（spark core里面是lazy的，spark sql不是la...

			
		

	



		

			
		



	

		

			

				
					
spark union 会引起shuffle吗_Spark高性能Job

				
			

			

				

					weixin_39774905的博客
				

				

					11-21
					
					1847
					
				

			

		

		

			
				
知乎导入md文件会失真，无语，将就着看吧！原博客地址为：Spark高性能Job1.1 Job遇到一个action算子就会提交一个job，常见的transformation算子以及Action算子：Transformationmap, mapPartitions, flatMap, filter, union, groupbyKey, repartition, cacheActionreduce, ...

			
		

	





	

		

			

				
					
Spark Shuffle模块详解

					
最新发布

				
			

			

				

					晓晓的天空
				

				

					03-17
					
					1259
					
				

			

		

		

			
				
Spark Shuffle模块详解

			
		

	





	

		

			

				
					
Spark之Shuffle

				
			

			

				

					qq_1306238492的博客
				

				

					09-23
					
					1004
					
				

			

		

		

			
				
Spark有三种shuffle，分别是hash shuffle、sort shuffle、Tungsten Shuffle。

1、HashShuffle

适合小数据的场景，对小规模数据的处理效率比排序的shuffle高。



1) 每一个Mapper创建出和Reducer数目相同的bucket，bucket实际上是一个buffer，其大小为spark.shuffle.file.buf...

			
		

	





	

		

			

				
					
【Spark】Shuffle详解

				
			

			

				

					HeavenDan的博客
				

				

					03-20
					
					1368
					
				

			

		

		

			
				
一、概要
1、Shuffle调优概述
Spark作业性能主要消耗在Shuffle环境，因为其中包含大量磁盘IO、序列化、网络数据传输等操作，如果想提升作业性能，有必要对Shuffle过程进行调优。但也要注意，影响Spark作业性能因素主要还是代码开发、资源参数以及数据倾斜，Shuffle调优只占一小部分，不要舍本逐末。
2、Shuffle发生阶段

3、触发 Shuffle 操作的算子




分类
操作




Repartition相关
repartition、coalesce、repartitionA

			
		

	





	

		

			

				
					
基于Tomasulo算法的32位RISC带Cache的流水线CPU设计

				
			

			

				

					01-24
				

			

		

		

			
				
清华大学电子系微机原理课程设计题目。4人合作完成。
包含CPU的VHDL、Verilog源代码、仿真文件、波形结果、系统框图、实验报告、以及一个简易汇编器的源代码和可执行文件。
Quartus仿真实现了32位RISC微处理器，支持数据处理（包括乘除法），数据传送，子程序调用，中断及跳转。时序仿真主频可达70MHz。
采用Tomasulo算法处理指令流水中的数据相关，并提出了一种对Tomasulo就够的改进。设计了Cache结构提高访存效率。

			
		

	





	

		

			

				
					
Spark性能优化研究--cache的用法

				
			

			

				

					fengkuang的一亩三分地
				

				

					07-23
					
					2568
					
				

			

		

		

			
				
Spark性能优化研究–cache的用法



背景

最近在用spark训练模型，数据量达到了50亿量级，遇到了很多性能问题，特此进行了试验总结。我们使用cache或者persist内存持久化的目的，是为了在以后的数据计算中减少数据读取的时间，当要处理的数据量过大时，比如50亿级，常常会遇到内存不够，或者cache所需时间过长的问题。cache会破坏spark在做DAG优化执行计划的时候的数据本...

			
		

	





	

		

			

				
					
Spark性能优化——和shuffle搏斗

				
			

			

				

					weixin_34284188的博客
				

				

					05-27
					
					220
					
				

			

		

		

			
				
Spark的性能分析和调优很有意思，今天再写一篇。主要话题是shuffle，当然也牵涉一些其他代码上的小把戏。
以前写过一篇文章，比较了几种不同场景的性能优化，包括portal的性能优化，web service的性能优化，还有Spark job的性能优化。Spark的性能优化有一些特殊的地方，比如实时性一般不在考虑范围之内，通常我们用Spark来处理的数...

			
		

	





	

		

			

				
					
【Spark三十七】Spark Cache机制

				
			

			

				

					bit1129的博客
				

				

					02-01
					
					560
					
				

			

		

		

			
				

今天状态很差，很困，无精打采。学到的Spark知识，没有连贯起来，很多知识点有印象但是很模糊，说不出个123来。本来今天要看看cache，checkpoint和broadcast，结果今天到现在为止已经是5点了，还没有任何的进展。开始硬着头皮把Spark的Cache机制搞一搞吧，发现，cache机制比想象中的难驾驭。
 
 
 调用reduceByKey对应的ShuffledRDD对应的...

			
		

	





	

		

			

				
					
Spark1.6.0学习心得（三）：shuffle、persist、cache、shared variable

				
			

			

				

					huang358468的博客
				

				

					08-05
					
					352
					
				

			

		

		

			
				
Shuffle operations

Spark触发事件叫作shuffle，shuffle是spark的对于重新分布式数据机制，因此它在不同的分区分组不相同。其中包含复制数据在executors和机器上，执行shuffle是复杂和耗时的操作。

Background

为了进一步了解shuffle期间，发生的事情，思考这个reduceByKey操作的例子。

reduceByKey操作产生了一个...

			
		

	





	

		

			

				
					
Spark Shuffle机制

				
			

			

				

					weixin_37536020的博客
				

				

					08-10
					
					652
					
				

			

		

		

			
				
该过程的磁盘写机制其实跟未经优化的HashShuffleManager一样，因为都要创建数量惊人的磁盘文件，只是在最后会做一个磁盘文件的合并而已。因此少量的最终磁盘文件，也让该机制相对未经优化的HashShuffleManager来说，shuffle read的性能更好。ShuffleManager随着Spark的发展有两种实现的方式，分别为HashShuffleManager和SortShuffleManager，因此spark的Shuffle有Hash Shuffle和Sort Shuffle两种。

			
		

	





	

		

			

				
					
Spark性能相关参数配置 之 Shuffle 相关

				
			

			

				

					cache007的专栏
				

				

					04-17
					
					338
					
				

			

		

		

			
				
Shuffle 相关

Shuffle操作大概是对Spark性能影响最大的步骤之一（因为可能涉及到排序，磁盘IO，网络IO等众多CPU或IO密集的操作），这也是为什么在Spark 1.1的代码中对整个Shuffle框架代码进行了重构，将Shuffle相关读写操作抽象封装到Pluggable的Shuffle Manager中，便于试验和实现不同的Shuffle功能模块。例如为了解决Hash Ba

			
		

	





	

		

			

				
					
Spark中的缓存(cache)和检查点(checkpoint)的使用和区别

				
			

			

				

					LFQ244117370的博客
				

				

					08-12
					
					953
					
				

			

		

		

			
				
cache()
底层调用的局势persist(),只能设置缓存级别为StorageLevel.MEMORY_ONLY即在内存中进行缓存
persist()
这个才是真的缓存方法
--无参重载 => 只能设置缓存级别为StorageLevel.MEMORY_ONLY即在内存中进行缓存
--有参重载 => 可以设置缓存等级

是否是⽤磁盘 是否使⽤内存 是否使⽤堆外内存 是否反序列化 副本的个数
object StorageLevel {
val NONE = new StorageLevel(f.

			
		

	





	

		

			

				
					
spark 缓存表的使用

				
			

			

				

					LXP
				

				

					11-30
					
					3671
					
				

			

		

		

			
				
spark 几种缓存数据的方法1- 缓存表2-缓存结果查看3-缓存参数设置
1- 缓存表
1、cache table
//缓存全表
sqlContext.sql("CACHE TABLE activity")

//缓存过滤结果
sqlContext.sql("CACHE TABLE activity_cached as select * from activity where ...")

CACHE TABLE是即时生效(eager)的，如果你想等到一个action操作再缓存数据可以使用CACHE LA

			
		

	





	

		

			

				
					
Spark SQL性能优化与入门指南

				
			

			

				

					
				

			

		

		

			
				
5. **缓存表**：频繁使用的表可以使用`cacheTable()`或`DataFrame.cache()`进行缓存，Spark SQL会使用列式存储并自动优化压缩，减少内存使用和垃圾回收压力。可以通过`spark.sql.inMemoryColumnarStorage.batchSize`...

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		评论	
	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值