2017年11月_小狼_百度

11月 10月 09月 08月 07月 06月 05月 04月 03月

转载 spark JVM调优之原理概述以及降低cache操作的内存占比

每一次放对象的时候，都是放入eden区域，和其中一个survivor区域；另外一个survivor区域是空闲的。当eden区域和一个survivor区域放满了以后（spark运行过程中，产生的对象实在太多了），就会触发minor gc，小型垃圾回收。把不再使用的对象，从内存中清空，给后面新创建的对象腾出来点儿地方。清理掉了不再使用的对象之后，那么也会将存活下来的对象（还要继

2017-11-06 17:57:43 1088

转载 spark性能调优（三）shuffle的map端内存缓冲reduce端内存占比

性能优化 shuffle spark.shuffle.file.buffer，默认32k spark.shuffle.memoryFraction，0.2 map端内存缓冲，reduce端内存占比；很多资料、网上视频，都会说，这两个参数，是调节shuffle性能的不二选择，很有效果的样子，实际上，不是这样的。以实际的生产经验来说，这两个参数没有那么重要，往往来

2017-11-06 15:39:31 1889

转载 Spark的性能调优

基本概念和原则首先，要搞清楚Spark的几个基本概念和原则，否则系统的性能调优无从谈起：每一台host上面可以并行N个worker，每一个worker下面可以并行M个executor，task们会被分配到executor上面去执行。Stage指的是一组并行运行的task，stage内部是不能出现shuffle的，因为shuffle的就像篱笆一样阻止了并行task的运行，

2017-11-06 15:05:33 1401