spark分布式集群环境搭建(hadoop之上)

本文详述了如何在已有的Hadoop集群上安装和配置Spark,包括Scala的安装、Spark的下载与环境配置、将配置文件拷贝到slave节点,以及启动和测试Spark分布式集群的过程。
摘要由CSDN通过智能技术生成

本文介绍的spark环境搭建是基于hadoop之上的,hadoop集群环境搭建在之前的文章中已经介绍过,请前往查看。

scala安装

scala下载

wget https://downloads.lightbend.com/scala/2.12.4/scala-2.12.4.tgz

具体的版本可去官网http://www.scala-lang.org/download/根据实际情况选

安装和配置scala

tar -xvf scala-2.12.4.tgz  -C /usr/local

将解压后的路径添加到path中

vim /etc/profile

添加如下两行内容:

export SCALA_HOME=/usr/local/scala-2.12.4
export PATH=$PATH:$SCALA_HOME/bin

使之生效

source /etc/profile

测试是否安装成功

scale

在命令提示符中输入scale,如果看到scale提

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值