1.python pandas最多处理100M数据,再大就会OOM
2.spark中collect(),也要注意数据量太大时会OOM(我今天用2.3G数据collect就出现了OOM)
如果数据量比较大的时候,尽量不要使用collect函数,因为这可能导致Driver端内存溢出问题。
只有当整个数据集能在单机内存中放得下时,才考虑用collect(),因为collect()不能用在大规模数据集中
3.spark中take和takeAsList方法会将获得到的数据返回到Driver端,所以,使用这两个方法时需要注意数据量,以免Driver发生OutOfMemoryError