一、脚本安装
安装脚本:
蓝奏云:https://ydfei.lanzous.com/iqJUdf3r6ub
版本链接
百度云:https://pan.baidu.com/s/1GusTtX1TNjBWN7DcmblaGA
提取码:ygot
脚本使用方法
要求:1.版本spark-2.3.4-bin-hadoop2.6.tgz
参数:1.安装包所在目录(安装在安装包所在位置的soft目录下)
命令格式参考:./spark.sh /opt
注:别忘记修改脚本权限为777
二、手动安装详解
以安装在/opt下为例
1.下载并解压
tar -zxf spark-2.3.4-bin-hadoop2.6.tgz
2.移动并改名
mv spark-2.3.4-bin-hadoop2.6 soft/spark234
3.进入配置目录
cd soft/spark234/conf
4.复制slave.template配置文件
cp slaves.template slaves
5.复制env.sh配置文件,并在最后增加如下配置
cp spark-env.sh.template spark-env.sh
//master的ip
export SPARK_MASTER_HOST=192.168.56.100
//提交任务的端口,默认7077
export SPARK_MASTER_PORT=7077
//每个节点能分配的cpu 核数
export SPARK_WORKER_CORES=2
//每个节点能分配的内存
export SPARK_WORKER_MEMORY=3g
//UI访问的端口
export SPARK_MASTER_WEBUI_PORT=8888
7.在spark-config.sh增加JAVA_HOME路径
cd ../sbin
export JAVA_HOME=/opt/soft/jdk180
8.启动spark服务
./start-all.sh
测试:jps后要出现Worker和Master两个程序
9.进入spark界面
cd ../bin
./spark-shell
You build it,you run it