【spark】Local本地安装部署

下载Spark安装包
下载地址：http://spark.apache.org/downloads.html

上传安装包
cd /export/soft/
rz

tar -zxvf ./spark-2.2.0-bin-2.6.0-cdh5.14.0.tgz -C …/servers/

解压目录说明
bin：可执行脚本

conf：配置文件

data：示例程序使用数据

examples：示例程序

jars：依赖 jar 包

python：pythonAPI

R：R 语言 API

sbin：集群管理命令

yarn：整合yarn需要的东西

启动spark-shell
cd /export/servers/spark-2.2.0-bin-2.6.0-cdh5.14.0/bin/
./spark-shell

spark-shell说明
./spark-shell

表示使用local 模式启动，在本机启动一个SparkSubmit进程

指定参数 --master

spark-shell --master local[N] 表示在本地模拟N个线程来运行当前任务

spark-shell --master local[*] 表示使用当前机器上所有可用的资源

不携带参数（默认）

spark-shell --master local[*]

退出spark-shell

使用 :quit