Haoop , Spark安装实例教程--Spark安装

spark安装是在之前安装好的hadoop之上进行安装的,之前的hadoop安装地址:Haoop , Spark安装实例教程--Hadoop安装

平台:RHEL6,RHEL6,ubuntu14.04

scala:scala-2.10.4

Spark:spark-1.5.0-bin-hadoop2.6.tar.gz

第一步:

安装,配置Scala路径:

将scala存放在/usr/lib/scala/目录下:

设置环境变量PATH

之后在.bashrc中添加环境变量


测试scala是否安装成功:

第二步:安装Spark

这里统一安装在/usr/local/spark/目录下:

之后配置spark的环境变量:


之后修改/usr/local/spark/spark-1.5.0-bin-hadoop2.6/conf目录下的spark-env.sh文件:

增加如下信息:

其中:

HADOOP_CONF_DIR是之前的hadoop的配置

SPARK_WOEKER_MEMORY:工作内存大小

SPARK_MASTER_IP:这是master的IP

同时还要将同样是这个目录下将slaves.template更改成slaves同时添加:

同时对其他两台机器进行同样的配置。

运行:这里认为已经将三台机器配置了同样的配置

进入sbin目录运行:

之后在浏览器查看是否配置成功:

这样的话就算是配置成功了


评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值