spark.driver.maxResultSize || java.lang.OutOfMemoryError

16/03/11 12:05:56 ERROR TaskSetManager: Total size of serialized results of 4 tasks (1800.7 MB) is bigger than spark.driver.maxResultSize (1024.0 MB)

.set("spark.driver.maxResultSize","8g")

java.lang.OutOfMemoryError: Direct buffer memory

   这种情况一般是序列化大于256m，需要修改程序。我在使用limit拟牛顿法出现这种情况，换成随机梯度下降就解决了。