如果当系统内存不足的时候,spark 落地到磁盘,将 spark 当成 mapreduce 使用,其实感觉大数据初期,就是没有那么多的运算资源,mapreduce就是通过落地磁盘,解决内存不足的问题
当spark内存不足的时候,需要及时写入硬盘,解决复杂逻辑问题
最新推荐文章于 2022-11-22 12:45:14 发布
如果当系统内存不足的时候,spark 落地到磁盘,将 spark 当成 mapreduce 使用,其实感觉大数据初期,就是没有那么多的运算资源,mapreduce就是通过落地磁盘,解决内存不足的问题