ubuntu上安装spark详细步骤

目录

1、打开清华大学下载站  https://mirrors.tuna.tsinghua.edu.cn/ ，找到 apache点击

2、在新页面中，ctrl + f 输入 spark，点击

3、选择要下载的版本，我选的最新版本

4、选择对应的hadoop版本

5、点击下载，下载完毕移动到一个目录 如 /etc/soft/

6、解压，如果提示没权限，加sudo

7、配置环境变量

8、生效配置

 9、在任意目录输入

10、简单测试，输出文件行数

---

1、打开清华大学下载站  https://mirrors.tuna.tsinghua.edu.cn/ ，找到 apache点击

2、在新页面中，ctrl + f 输入 spark，点击

3、选择要下载的版本，我选的最新版本

4、选择对应的hadoop版本

5、点击下载，下载完毕移动到一个目录 如 /etc/soft/

mv  spark-3.1.2-bin-hadoop2.7.tgz /etc/soft/

6、解压，如果提示没权限，加sudo

sudo tar -zxvf spark-3.1.2-bin-hadoop2.7.tgz 

7、配置环境变量

sudo vi /etc/profile

加 以下两行

export SPARK_HOME=/etc/soft/spark-3.1.2-bin-hadoop2.7
export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/bin

8、生效配置

source /etc/profile

 9、在任意目录输入

spark-shell

10、简单测试，输出文件行数

 var sc = spark.read.textFile("文件绝对路径").count;

 输出

sc: Long=57