Linux 搭建spark本地模式

1 简介以及版本说明

1.1 简介

本地模式部署在单机，主要用于测试或实验；最简单的运行模式，所有进程都运行在 一台机器的 JVM 中；

本地模式用单机的多个线程来模拟Spark分布式计算，通常用来验证开发出来的应用 程序逻辑上有没有问题；

这种模式非常简单，只需要把Spark的安装包解压后，改一些常用的配置即可使用。 不用启动Spark的Master、Worker守护进程，也不用启动Hadoop的服务（除非用 到HDFS）

local：在本地启动一个线程来运行作业；

local[N]：启动了N个线程；

local[*]：使用了系统中所有的核；

local[N,M]：第一个参数表示用到核的个数；第二个参数表示容许作业失败的次 数

前面几种模式没有指定M参数，其默认值都是1；

1.2 版本说明

spark 版本 2.4.5

1.3 其它环境依赖

    依赖 JDK

     依赖hadoop 安装包

2 下载安装包

       Index of /dist/spark (apache.org)

下载技巧，下载速度会很慢，使用迅雷下载会提速