spark安装(伪分布安装)
上传文件
用xtfp上传文件至/root/softwares
配置文件
cd /root/softwares
#解压
tar -zxvf spark-2.4.0-bin-hadoop2.7.tgz -C /usr/local/
cd /usr/local/
#重命名
mv spark-2.4.0-bin-hadoop2.7/ spark-2.4.0
cd spark-2.4.0/conf/
#配置spark-env.sh文件
cp spark-env.sh.template spark-env.sh
vim spark-env.sh
<!--主节点IP-->
export SPARK_MASTER_HOST=192.168.239.239
<!--任务提交端口-->
export SPARK_MASTER_PORT=7077
<!--每个worker使用2核,视自己的虚拟机创建的时候内核而定-->
export SPARK_WORKER_CORES=2
<!--每个worker使用3g内存,视自己的虚拟机创建的时候内存而定-->
export SPARK_WORKER_MEMORY=1g
<!--修改spark监视窗口的端口默认8080-->
export SPARK_MASTER_WEBUI_PORT=8888
#配置slaves文件
cp slaves.template slaves
vi slaves
#默认slaves现在就主机一台
#由于配的是单机,不是集群,所以不用Slaves(配置worker从机节点),就是localhost,不用改设置
#到spark-config.sh配置jdk环境变量
cd /usr/local/spark-2.4.0/sbin/
vim spark-config.sh
export JAVA_HOME=/usr/local/jdk1.8.0_171
启动spark
到主节点spark的sbin下运行
./start-all.sh
#查看进程
jps
#shell操作
cd /usr/local/spark-2.4.0/bin/
./spark-shell
#访问,验证是否成功
http://192.168.239.239:4040/executors/
http://192.168.239.239:8080/