OOM汇总

1.python pandas最多处理100M数据，再大就会OOM

2.spark中collect()，也要注意数据量太大时会OOM（我今天用2.3G数据collect就出现了OOM）

如果数据量比较大的时候，尽量不要使用collect函数，因为这可能导致Driver端内存溢出问题。

只有当整个数据集能在单机内存中放得下时，才考虑用collect()，因为collect()不能用在大规模数据集中

3.spark中take和takeAsList方法会将获得到的数据返回到Driver端，所以，使用这两个方法时需要注意数据量，以免Driver发生OutOfMemoryError

转载于:https://my.oschina.net/u/3575262/blog/1579314