ubuntu 14.04 spark单机平台搭建

先吐槽，弄了一下午，午觉都没睡就搭了一个单机版的spark平台，还好有hadoop经验才在hadoop上面没有花费那么多时间，下面开始吧。

１.安装JAVA,hadoop 1.2.1(略)参见

http://stratapps.net/hadoop-singlenode-installation-guide.php

２.安装scala:

从http://www.scala-lang.org/download/ 网站上面下载scala版本，我用的spark 1.0.0在他的README中写的需要用scala 2.10因此我下的scala　２.10版本，需要做的并不多，解压到自己本地目录下面之后创建两个符号链接到/usr/bin下面就好了，详细命令如下:

<pre name="code" class="plain">sudo cp ~/Downloads/scala-2.10.tgz /usr/local
sudo tar -zxvf scala-2.10.tgz
sudo mv scala-2.10 scala
cd /usr/local/scala/bin
sudo ln -s fsc /usr/bin/fsc
sudo ln -s scala /usr/bin/scala
sudo ln -s scalac /usr/bin/scalac

这样就安装完成了

3.安装spark:

从http://spark.apache.org/downloads.html 上面下载适合自己的hadoop版本的spark,我的是hadoop 1.2.1使用spark 1.0.0，下载下来之后可以打开README.md来查看编译指南，首先需要执行命令

./sbt/sbt assembly

在执行这个命令时一直会报错

Error occurred during initialization of VM

Could not reserve enough space for object heap

需要修改java编译的参数，在找到文件sbt/sbt-launch-lib.sh，在函数get_mem_opt中有一行

local mem=${1:-2048}

这里默认是64位地址分配的2048M内存，在32位机器上面跑起来会出问题的，需要将2048改成1024即可执行上面的命令,大概这个命令会跑好久好久。。。。我的是跑了2952s,快一个小时。。。。做好心里准备。。。。

4.安装完成，运行DEMO程序。