【Spark】Local本地模式安装部署

• 下载Spark安装包

下载地址：http://spark.apache.org/downloads.html

 

• 上传安装包

cd /export/soft/
rz

• 解压

tar -zxvf ./spark-2.2.0-bin-2.6.0-cdh5.14.0.tgz -C ../servers/

 

• 解压目录说明

bin：可执行脚本

conf：配置文件

data：示例程序使用数据

examples：示例程序

jars：依赖 jar 包

python：pythonAPI

R：R 语言 API

sbin：集群管理命令

yarn：整合yarn需要的东西

 

 

• 启动spark-shell

cd /export/servers/spark-2.2.0-bin-2.6.0-cdh5.14.0/bin/ 
./spark-shell

 

• spark-shell说明

./spark-shell

表示使用local 模式启动，在本机启动一个SparkSubmit进程

 

指定参数 --master

spark-shell --master local[N] 表示在本地模拟N个线程来运行当前任务

spark-shell --master local[*] 表示使用当前机器上所有可用的资源

 

不携带参数（默认）

spark-shell --master local[*]

 

退出spark-shell

使用 :quit