自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(6)

转载 GC ROOT的真实含义

作者:RednaxelaFX链接:https://www.zhihu.com/question/53613423/answer/135743258来源:知乎著作权归作者所有,转载请联系作者获得授权。之前看深入理解JVM这本书,对里面的GC ROOT的真实含义不是太清楚,网上查了一大堆资料都没有说的很清楚,下面这是从知乎大神上看到的,这里面记录一下,和大家一起学习

2016-12-18 17:18:19 17623 4

原创 解决 Spark 本地模式 out of memory 和磁盘不足问题

在做Kaggle比赛的时候,中间处理之后的训练数据有5000多万条数据,结果Spark 本地模式运行的时候,一直报出out of memory 问题。我在程序中使用了DataFrame.rdd.collect()方法。RDD的Collect()方法把RDD的数据全部放入到数组中进行返回,5000多万条数据全部放入到数组当中进行返回。当然会内存溢出。通过打印GC日志发现,Eden区域和老年代的空间使用

2016-12-08 23:27:52 4809

转载 JVM堆优化与相关配置参数

作者:zhoutao198712链接:http://blog.csdn.net/zhoutao198712/article/details/7783070来源:CSDN博客著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。到目前为止,还没有做明确的优化工作。只是做了初始化选择工作,比如说:JVM部署模型、JVM运行环境、收集哪些垃圾回收器的信息以及需要

2016-12-07 17:56:07 520

转载 Spark 性能优化问题与解决思路

Spark性能优化的10大问题及其解决方案问题1:reduce task数目不合适解决方式:需根据实际情况调节默认配置,调整方式是修改参数spark.default.parallelism。通常,reduce数目设置为core数目的2到3倍。数量太大,造成很多小任务,增加启动任务的开销;数目太少,任务运行缓慢。问题2:shuffle磁盘IO时间长解决方式:

2016-12-07 17:27:29 325

转载 Major GC和Full GC的区别

作者:RednaxelaFX链接:http://www.zhihu.com/question/41922036/answer/93079526来源:知乎著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。之前一直在晚上查找Major GC 和Full GC的区别,最后,看到下面这个回答很详细。所以转载过来,和大家一起学习。针对HotSpot VM的实

2016-12-05 16:06:02 471

转载 Minor GC、Major GC和Full GC

之前在看书的时候,对于major gc和 full gc到底是对老年代回收,还是整个堆回收搞不清。所以专门在网上找了找,找到下面这篇博客挺好的。分享给大家,一起来学习。文章要求读者熟悉 JVM 内置的通用垃圾回收原则。堆内存划分为 Eden、Survivor 和 Tenured/Old 空间,代假设和其他不同的 GC 算法超出了本文讨论的范围。Minor GC从

2016-12-03 19:52:59 275

空空如也

空空如也

空空如也
提示
确定要删除当前文章?
取消 删除