下载Spark安装包
下载地址:http://spark.apache.org/downloads.html
上传安装包
cd /export/soft/
rz
tar -zxvf ./spark-2.2.0-bin-2.6.0-cdh5.14.0.tgz -C …/servers/
解压目录说明
bin:可执行脚本
conf:配置文件
data:示例程序使用数据
examples:示例程序
jars:依赖 jar 包
python:pythonAPI
R:R 语言 API
sbin:集群管理命令
yarn:整合yarn需要的东西
启动spark-shell
cd /export/servers/spark-2.2.0-bin-2.6.0-cdh5.14.0/bin/
./spark-shell
spark-shell说明
./spark-shell
表示使用local 模式启动,在本机启动一个SparkSubmit进程
指定参数 --master
spark-shell --master local[N] 表示在本地模拟N个线程来运行当前任务
spark-shell --master local[*] 表示使用当前机器上所有可用的资源
不携带参数(默认)
spark-shell --master local[*]
退出spark-shell
使用 :quit