spark 内存溢出

 

直接collect ，如果数据量大，也会出现内存溢出

mappartitions 如果数据大，也会出现内存溢出

 

1.map过程产生大量对象导致内存溢出

这种溢出的原因是单个map中产生了大量的对象导致的

例如:rdd.map(x=>for(i<-1 to 10000) yield i.tostring)

这个操作在rdd中，每个对象产生了10000个对象，肯定很容易产生内存溢出，针对这种问题，在不增加内存下，

通过减少每个task的大小，以便达到每个task 即使产生大量的对象executor的内存也能够装得下，具体做法可以在产生大量对象的

map操作之前调用repartition方法，分区成更小的块传入map，例如:map.repartition(10000).map()

面对这种问题主题，不能使用rdd.coalesce方法，这个方法只能减少分区，不能增加分区，不会有shuffle的过程

2.数据不平衡大致内存溢出

数据不平衡除了有可能导致内存溢出外，也有可能导致性能的问题，解决方法和上面说的类似，就是调用

repartition重新分区

3.coalesce调用导致内存溢出

这是我最近才遇到的一个问题，因为hdfs中不适合存小问题，所以Spark计算后如果产生的文件太小，我们会调用coalesce合并文件再存入hdfs中。但是这会导致一个问题，例如在coalesce之前有100个文件，这也意味着能够有100个Task，现在调用coalesce(10)，最后只产生10个文件，因为coalesce并不是shuffle操作&#