大数据入门--linux和windows安装spark-3.0.1-bin-hadoop3.2.tgz

linux

安装
安利apache的downloads地址 https://downloads.apache.org/

linux安装scala-2.10.6.tgz

下载

wget https://downloads.apache.org/spark/spark-3.0.1/spark-3.0.1-bin-hadoop3.2.tgz

解压

gunzip spark-3.0.1-bin-hadoop3.2.tgz
tar xvf spark-3.0.1-bin-hadoop3.2.tar

启动

sbin/start-all.sh

访问
http://ip:8080

进入spark-shell

./bin/spark-shell

windows

下载
官网：http://spark.apache.org/downloads.html
官网关联链接：https://www.apache.org/dyn/closer.lua/spark/spark-3.0.1/spark-3.0.1-bin-hadoop2.7.tgz
官网下载链接：https://mirrors.tuna.tsinghua.edu.cn/apache/spark/spark-3.0.1/spark-3.0.1-bin-hadoop2.7.tgz
解压
下载后解压即可
依赖
需要安装python
需要安装Hadoop 《hadoop安装》
进入spark-shell
\bin下运行spark-shell
进入scala则为成功
提交任务
HelloWorld.jar 放入bin目录下

spark-submit --class Hello HelloWorld.jar