问题:你会 在屏幕上看到如下字样
# Native memory allocation (malloc) failed to allocate 1431699456 bytes for committing reserved memory. "
原因很简单: Spark1.0.0构建过程在启动JVM的时候用的参数太大: -Xms2048m -Xmx2048m。笔者的环境只有1G内存(其实开始是256M, 当时以为是内存确实太小,所以,又花了100多块升级到1G,结果还是不行)
根本原因:
在 sbt/sbt-launch-lib.bash
get_mem_opts () {
local mem=${1:-2048}
local perm=$(( $mem / 4 ))
(( $perm > 256 )) || perm=256
(( $perm < 4096 )) || perm=4096
local codecache=$(( $perm / 2 ))
echo "-Xms${mem}m -Xmx$