centos 安装 scala和 spark
今天我们来讲一下,centos 安装scala 和spark,这篇博客接着上面四篇博客,感兴趣的,可以看看我前面几篇博客,那是关于hadoop 下对接eclipse 运行mapreduce 程序的操作。
- 首先下载两个安装包
在我给的下面这个网盘链接下载
链接:https://pan.baidu.com/s/1RwI9FK-C1RzClQxwxj95Wg
提取码:jslz
下载开头为spark 和sbt的两个文件
下载好之后放在centos 的 /usr/soft 文件夹下
- 安装jdk
我们需要先安装好jdk 这里吗,我上面的网盘里也有,至于怎么安装,我之前的博客有详细的教程可以看一下
https://blog.csdn.net/weixin_43327597/article/details/108834870
- 然后我们开始安装spark 和scala
首先我们进入 /usr/soft文件夹下
cd /usr/soft
#然后解压这个两个文件夹
tar -zxvf sbt-1.4.0.tgz
tar zxvf spark-2.0.2-bin-hadoop2.7.tgz
之后输入
ll
你会看到这样的显示
然后需要配置一下环境变量
vi /etc/profile
添加如下代码
export SCALA_HOME=/usr/soft/sbt
export SPARK_HOME=/usr/soft/spark-2.0.2-bin-hadoop2.7
export PATH=$PATH:$SCALA_HOME/bin:$SPARK_HOME/bin:$SPARK_HOME/sbin
需要激活环境
source /etc/profile
我们的scala和spark即安装好
- 测试spark
cd spark-2.0.2-bin-hadoop2.7/
bin/spark-shell
即可启动spark shell
现在创建一个函数,测试
创建如下函数
{def main(args: Array[String]){println("helloworld")}}
显示如下结果则配置正确
之后我们测试
输入如下代码
HelloWorld.main(null)
显示如下结果则正确
到此就可以使用spark了