目录
1、打开清华大学下载站 https://mirrors.tuna.tsinghua.edu.cn/ ,找到 apache点击
5、点击下载,下载完毕移动到一个目录 如 /etc/soft/
1、打开清华大学下载站 https://mirrors.tuna.tsinghua.edu.cn/ ,找到 apache点击
2、在新页面中,ctrl + f 输入 spark,点击
3、选择要下载的版本,我选的最新版本
4、选择对应的hadoop版本
5、点击下载,下载完毕移动到一个目录 如 /etc/soft/
mv spark-3.1.2-bin-hadoop2.7.tgz /etc/soft/
6、解压,如果提示没权限,加sudo
sudo tar -zxvf spark-3.1.2-bin-hadoop2.7.tgz
7、配置环境变量
sudo vi /etc/profile
加 以下两行
export SPARK_HOME=/etc/soft/spark-3.1.2-bin-hadoop2.7
export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/bin
8、生效配置
source /etc/profile
9、在任意目录输入
spark-shell
10、简单测试,输出文件行数
var sc = spark.read.textFile("文件绝对路径").count;
输出
sc: Long=57