Spark部署之Windows

目录

1 解压缩文件

 2 启动本地环境

3 执行Scala代码

 4 通过命令行提交应用

---

在同学们自己学习时，每次都需要启动虚拟机，启动集群，这是一个比较繁琐的过程， 并且会占大量的系统资源，导致系统执行变慢，不仅仅影响学习效果，也影响学习进度， Spark 非常暖心地提供了可以在windows 系统下启动本地集群的方式，这样，在不使用虚拟机的情况下，也能学习 Spark 的基本使用.

1 解压缩文件

将文件 spark-3.0.0-bin-hadoop3.2.tgz 解压缩到无中文无空格的路径中

 2 启动本地环境

• 执行解压缩文件路径下 bin 目录中的 spark-shell.cmd 文件，启动 Spark 本地环境

3 执行Scala代码

 

 4 通过命令行提交应用

先在bin目录下创建input/word.txt

 在此处地址栏中输入cmd，再执行命令

spark-submit --class org.apache.spark.examples.SparkPi --master local[2] ../examples/jars/spark-examples_2.12-3.0.0.jar  10