spark性能优化----缓存清除

最新推荐文章于 2024-04-26 15:25:18 发布
最新推荐文章于 2024-04-26 15:25:18 发布
阅读量1.1w 收藏 3
点赞数 2
分类专栏： 大数据 文章标签： spark cache persist 清除 调优
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u010990043/article/details/79175440
版权
Spark作为大数据主流计算引擎，其性能优化中缓存管理至关重要。通过cache和persist进行中间结果缓存以避免重复计算，但何时释放缓存是个关键问题。通常在shuffle或数据序列化后可释放，或在不再需要时使用unpersist。然而，忘记清理缓存或在某些框架内可能导致无法释放，内存不足时LRU策略会自动移除部分缓存，影响性能。开发者可通过sc.getPersistentRDDs找到所有缓存的RDD，手动进行优化。
摘要由CSDN通过智能技术生成

spark是一款优秀的框架，计算性能相当优异，已经发展成大数据主流计算引擎，在spark开发过程中有很多优化的点。其中去除重复计算是非常重要的。一般操作调用cache/persist,来缓存中间结果，避免重复计算。其中cache是persist的一个特列（cache相当于persist()）。persist拥以下几个级别的缓存：

NONE  默认配置（不缓存）
DISK_ONLY  数据缓存到磁盘,特点读写特别慢，内存占用比较少
DISK_ONLY_2 数据缓存到磁盘两份，特点读写比较慢（比DISK_ONLY读写快，稳定性好）
MEMORY_ONLY 数据缓存到内存和cache()功能之一，读写最快但是内存消耗比较大
MEMORY_ONLY_2 数据缓
最低0.47元/天 解锁文章
sunkl_
关注
  • 2
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
spark:清空程序运行时的所有（cache）缓存块
善皮之的博客
03-03 6331
spark:清空程序运行时的所有（cache）缓存块 为啥要用到缓存   在我们编写spark程序的时候，经常会用到action算子，当程序执行到action操作的代码时，开始真正地执行计算，这个时候耗时比较长。然而，当我们程序里面的action算子计算出来的需要被多次使用的时候，为了不在让程序重复再次计算。将这个action算子计算的结果进行persist或者cache（缓存）的操作，可以节省程...
sparksql读取mysql内存_Spark 2.x管理与开发-Spark SQL-性能优化（一）在内存中缓存数据（最常用最有效）...
weixin_39805906的博客
01-19 224
Spark 2.x管理与开发-Spark SQL-性能优化(一)在内存中缓存数据(最常用最有效)性能调优主要是将数据放入内存中操作。通过spark.cacheTable("tableName")或者dataFrame.cache()。使用spark.uncacheTable("tableName")来从内存中去除table。Demo案例：1.从Oracle数据库中读取数据，生成DataFramev...
Spark Streaming 数据清理机制
allwefantasy的专栏
04-17 527
大家刚开始用Spark Streaming时，心里肯定嘀咕，对于一个7*24小时运行的数据，cache住的RDD,broadcast 系统会帮忙自己清理掉么？还是说必须自己做清理？如果系统帮忙清理的话，机制是啥？ 前言 为啥要了解机制呢？这就好比JVM的垃圾回收，虽然JVM的垃圾回收已经巨牛了，但是依然会遇到很多和它相关的case导致系统运行不正常。 ...
Spark原理之Cache Table的工作原理及实现自动缓存重复Table Scan的思考
最新发布
Dreamming Time的博客
04-26 926
CACHE TABLE，可以让用户自定义要缓存的结果集，实际上就是一个临时表，不过数据存储在Spark集群内部，由Application所分配的executors管理。 一旦定义了一个缓存表，就可以在SQL脚本中随处引用这个表名，提高数据检索速度，同时也会资源不必要的资源开销。
Spark缓存清理机制
u014033218的专栏
09-05 7816
unpersist http://homepage.cs.latrobe.edu.au/zhe/ZhenHeSparkRDDAPIExamples.html#unpersist Dematerializes the RDD (i.e. Erases all data items from hard-disk and memory). However, the RDD object remains
windows清理缓存性能加速
weixin_40184811的博客
09-26 3230
C:\Windows\SoftwareDistribution\Download，这个文件夹下的所有文件都是系统更新时下载下来的，等你系统更新完毕之后全部删除即可，遇到提示需要管理员权限才能删除时点击”继续“，直到清理干净。按下 win + R ，输入 cmd 回车，输入 ipconfig /flushdns 来清理DNS缓存。通常我使用的chrome浏览器，在浏览器上使用了”Click&Clean“ 插件。按下 win + R ，输入 cmd 回车，输入powercfg -h off。
二十六、商城 - 广告管理-Redis（14）12.youlexuan.zip
04-02
四、Redis性能优化策略 1. **过期策略**：设置广告的有效期限，确保过期广告自动清理，节省内存。 2. **数据持久化**：配置RDB或AOF模式，定期将内存数据保存到磁盘，保证数据安全。 3. **主从复制**：建立Redis主从...
Hudi-Presto 在 News Break 数据平台的尝试-关立胜
08-01
在使用Presto时，要注意定期清理Spark持续运行模式下的Appcache，可以通过EMR引导脚本设置Cronjob来实现。另外，由于缺乏便捷的数据保留工具，需要手动管理数据保留策略。 总结起来，News Break通过整合Hudi和...
9-7+SQL+on+Hadoop在小米的实践与优化.pdf
03-18
还实施了一系列监控和优化措施，如SparkReporter、Falcon Metrics、自适应执行、多目录支持、大结果缓存、HDFS结果的迭代式返回、Broadcast预警、状态指标的完善以及基于Falcon的作业拥堵检测和内存清理加速，以提升...
数据库设计指南-60个设计技巧
06-23
16. 数据库性能监控：定期评估数据库性能，通过分析找出瓶颈并进行优化。 17. 数据库备份与恢复策略：制定备份计划，确保在系统故障时能够快速恢复。 18. 安全性设计：设置用户权限，使用加密技术保护敏感数据，...
网页的历史浏览记录---jsp
12-25
5. **隐私保护与缓存策略**：考虑到用户隐私，应设置合理的数据保留期限，过期的浏览记录应当定期清理。此外，为了提高性能，可以使用缓存技术，如Redis，存储近期的浏览记录，减少对数据库的直接访问。 6. **安全...
Spark调优：降低cache操作的内存占比
mischen520的博客
06-12 486
1. 静态内存管理机制 根据Spark静态内存管理机制，堆内存被划分为了两块，Storage和Execution。Storage主要用于缓存RDD数据和broadcast数据，Execution主要用于缓存在shuffle过程中产生的中间数据，Storage占系统内存的60%，Execution占系统内存的20%，并且两者完全独立。 在一般情况下，Storage的内存都提供给了cache操作，但是如果在某些情况下cache操作内存不是很紧张，而task的算子中创建的对象很多，Execution内存又相对
19-释放缓存和缓存
huaxing_ba的博客
12-08 359
释放缓存和缓存
SparkSql Cache Table类语法编译原理
JiajunBernoulli的博客
10-12 1765
最近需要在自研的引擎实现SparkSQL的Cache Table逻辑，于是调研了一下相关语法的原理。
spark dataframe, rdd unpersist的坑
Code_LT的博客
03-23 5922
目前使用的Spark 2.1.0有一个很坑爹的问题，如果persist一个df1后unpersist 与df1相关的df0，那么df1也会被unpersist掉，导致后续用到df1的地方又需要重新算df1，降低性能。这个问题直到Spark2.4.0才解决。问题复现如下： 但是rdd的persist不会因为linage的rdd被unpersist后而消失 df...
Spark在处理数据的时候，会将数据都加载到内存再做处理吗？
大数据学习与分享的博客
09-17 1313
对于Spark的初学者，往往会有一个疑问：Spark（如SparkRDD、SparkSQL）在处理数据的时候，会将数据都加载到内存再做处理吗？ 很显然，答案是否定的！ 对该问题产生疑问的根源还是对Spark计算模型理解不透彻。 对于Spark RDD，它是一个分布式的弹性数据集，不真正存储数据。如果你没有在代码中调用persist或者cache算子，Spark是不会真正将数据都放到内存里的。 此外，还要考虑persist/cache的缓存级别，以及对什么进行缓存（比如是对整张表生成的DataSet缓存还是列
cache -- clear（ 缓存清除的方法）
weixin_34162401的博客
01-08 4748
一：meta方法 <META HTTP-EQUIV="pragma" CONTENT="no-cache"> <META HTTP-EQUIV="Cache-Control" CONTENT="no-cache, must-revalidate"> <META HTTP-EQUIV="expires" CONTENT="0"> 二：清理...
记录一些spark缓存中的方法
一昕之代码专栏
05-15 1361
此为使用者自己选择释放需要的已经缓存的rdd。 def unpersistUnuse(rddString: Set[String], sc: SparkContext) = { var persistRdds = sc.getPersistentRDDs persistRdds.foreach(truple =&amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;gt; { val xx = truple._2.toString(...
spark性能调优-rdd算子调优篇
03-16
RDD算子调优是Spark性能调优的重要方面之一。以下是一些常见的RDD算子调优技巧： 1. 避免使用过多的shuffle操作，因为shuffle操作会导致数据的重新分区和网络传输，从而影响性能。 2. 尽量使用宽依赖操作（如...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值