Linux下搭建Spark本地模式（Local模式）

1.上传文件后解压

执行命令：

tar -zxvf spark-2.1.1-bin-hadoop2.7.tgz -C /opt/module/

结果如图：

2. 改名

执行命令：

mv spark-2.1.1-bin-hadoop2.7/ spark

3. 官方求PI案例

执行命令：

bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--executor-memory 1G \
--total-executor-cores 2 \
./examples/jars/spark-examples_2.11-2.1.1.jar \
100

结果如下：

4. 准备文件

创建input文件夹

mkdir input

创建1.txt文件

touch 1.txt

加入以下内容（测试用，可自行输入）

hello az
hello spark

5.启动spark-shell

我的配置了环境变量，没有配置的话进到对应的目录下执行命令：

bin/spark-shell

查看浏览器：

开启另一个CRD窗口：

6. 运行WordCount程序

执行命令：

sc.textFile("input").flatMap(_.split(" ")).map((_,1)).reduceByKey(_+_).collect

结果如图：

到此Local模式部署成功。。。