Spark内存设置

1.常规设置

    在我另一篇文章中也有提到（Spark运行常见问题），即常规设置：

        （假设物理机内存大小为32G）

        -Xms    物理内存的1/64    -Xms512m

        -Xmx    物理内存的1/4    -Xmx8G        

        -XX：PermSize    物理内存的1/64    -XX：PermSize=512m

        -XX：MaxPermSize    物理内存的1/4 -XX：MaxPermSize=8G

2.出现内存溢出时

    1）首先调整eclipse或者IDEA配置文件内的内存大小。

    2）其次调整jvm内存大小设置，jvm内存大小设置应同配置文件设置。

    3）分页内存设置（一般不需要）

3.判断和设置

    运行Spark时会显示日志消息，如下：

18/06