1 背景
机器数量有限,甚至就是一台
测试环境,可以部署Spark 本地模式
2 简单定义
1) 本地模式部署在单机,主要用于测试或实验;最简单的运行模式,所有进程都运行在 一台机器的 JVM 中
2) 本地模式用单机的多个线程来模拟Spark分布式计算,通常用来验证开发出来的应用 程序逻辑上有没有问题;
3 部署步骤
3.1 下载安装包
Index of /dist/spark
3.2 解压,配置
tar -zxvf spark-2.4.5-bin-without-hadoop-scala-2.12.tgz
vi /etc/profile
export SPARK_HOME=/APP/spark-2.4.5-bin-without-hadoop-scala-2.12
export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin