直接collect ,如果数据量大,也会出现内存溢出
mappartitions 如果数据大,也会出现内存溢出
1.map过程产生大量对象导致内存溢出
这种溢出的原因是单个map中产生了大量的对象导致的
例如:rdd.map(x=>for(i<-1 to 10000) yield i.tostring)
这个操作在rdd中,每个对象产生了10000个对象,肯定很容易产生内存溢出,针对这种问题,在不增加内存下,
通过减少每个task的大小,以便达到每个task 即使产生大量的对象executor的内存也能够装得下,具体做法可以在产生大量对象的
map操作之前调用repartition方法,分区成更小的块传入map,例如:map.repartition(10000).map()
面对这种问题主题,不能使用rdd.coalesce方法,这个方法只能减少分区,不能增加分区,不会有shuffle的过程
2.数据不平衡大致内存溢出
数据不平衡除了有可能导致内存溢出外,也有可能导致性能的问题,解决方法和上面说的类似,就是调用
repartition重新分区
3.coalesce调用导致内存溢出
这是我最近才遇到的一个问题,因为hdfs中不适合存小问题,所以Spark计算后如果产生的文件太小,我们会调用coalesce合并文件再存入hdfs中。但是这会导致一个问题,例如在coalesce之前有100个文件,这也意味着能够有100个Task,现在调用coalesce(10),最后只产生10个文件,因为coalesce并不是shuffle操作&#