【Ubuntu】spark2.4.5安装教程

将spark2.4.5的压缩包解压到指定目录,并改名为spark:

sudo tar -zxvf spark-2.4.5-bin-without-hadoop.tgz -C /home/china/data
sudo mv spark-2.4.5-bin-without-hadoop/ spark

添加权限,并查看该目录下有没有spark的安装文件:

sudo chown -R china:china spark
ls | grep spark

在spark 目录下拷贝spark-env.sh.template 文件 并去掉.template后缀。同时在此文件第一行添加如下所示 export xxxx 代码。

cd ./spark
cp ./conf/spark-env.sh.template ./conf/spark-env.sh
cd ./conf
vim spark-env.sh

export SPARK_DIST_CLASSPATH=$(装Hadoop的路径/bin/hadoop classpath)

在 spark 目录下运行如下命令,也可使用注释掉的那行命令直接过滤出结果:

cd /home/china/data/spark
bin/run-example SparkPi
# bin/run-example SparkPi 2>&1 | grep "Pi is"

看到有Pi的输出说明安装成功,如图:
在这里插入图片描述

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值