ubuntu 14.04 spark单机平台搭建

先吐槽,弄了一下午,午觉都没睡就搭了一个单机版的spark平台,还好有hadoop经验才在hadoop上面没有花费那么多时间,下面开始吧。

1.安装JAVA,hadoop 1.2.1(略)参见

http://stratapps.net/hadoop-singlenode-installation-guide.php

2.安装scala:

从http://www.scala-lang.org/download/ 网站上面下载scala版本,我用的spark 1.0.0在他的README中写的需要用scala 2.10因此我下的scala 2.10版本,需要做的并不多,解压到自己本地目录下面之后创建两个符号链接到/usr/bin下面就好了,详细命令如下:

<pre name="code" class="plain">sudo cp ~/Downloads/scala-2.10.tgz /usr/local
sudo tar -zxvf scala-2.10.tgz
sudo mv scala-2.10 scala
cd /usr/local/scala/bin
sudo ln -s fsc /usr/bin/fsc
sudo ln -s scala /usr/bin/scala
sudo ln -s scalac /usr/bin/scalac


 这样就安装完成了 

3.安装spark:

从http://spark.apache.org/downloads.html 上面下载适合自己的hadoop版本的spark,我的是hadoop 1.2.1使用spark 1.0.0,下载下来之后可以打开README.md来查看编译指南,首先需要执行命令

./sbt/sbt assembly

在执行这个命令时一直会报错

Error occurred during initialization of VM

Could not reserve enough space for object heap

需要修改java编译的参数,在找到文件sbt/sbt-launch-lib.sh,在函数get_mem_opt中有一行

local mem=${1:-2048}

这里默认是64位地址分配的2048M内存,在32位机器上面跑起来会出问题的,需要将2048改成1024即可执行上面的命令,大概这个命令会跑好久好久。。。。我的是跑了2952s,快一个小时。。。。做好心里准备。。。。

4.安装完成,运行DEMO程序。


评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值